Dúvida - Web scrapping com selenium

Tecnologia
ClarkKent  
em 19/02/22 18:26

Comentários

Último comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei
hilkon3  
em 19/02/2022 18:34
Tive um problema quase igual a esse, mas foi no site do amarelão argetino que entrega em um dia. Descobri que o preço ficava diferente por conta dos meus cookies que o navegador ia salvando. Sugiro tentar enviar junto na requisão os cookies do seu navegador. Não é certeza que vai corrigir, mas vale a tentativa.
; 4; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #1 de 10
FlyCavok  
em 19/02/2022 18:38
Não conheço o Selenium, mas você está selecionando o nó do xml de que forma?

<span _ngcontent-rkd-c131="" class="ib-product-info-obs">Sadia<!----><!----><!----><!----></span><!----><span _ngcontent-rkd-c131="" class="ib-product-price"> R$19,99 <span _ngcontent-rkd-c131="">R$27,99</span></span>

Note que o preço 27,99 é nó filho do 19,99

Se o default é pegar o último nó da árvore, ele vai pegar o 27,99.

Tente ver se é possível capturar o node pela clase ib-product-price e ver se dá pra pegar só o 19,99 e cola pra mim pra eu ver como é o resultado. Só debugando pra achar.
; 5; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #2 de 10
darthtrader  
em 19/02/2022 20:25
Não sei se te ajuda. Hoje qq lugar te dá a nota fiscal com QR code. Escaneando você tem a NF completa com a descrição dos produtos, preço, etc
Pensei em desenvolver um app que ao "ler" o  QRcode, pegaria o PDF e alimentaria um BD.
Tirando o BD, não tenho a mínima ideia como começar e qual plataforma seria mais adequada para poder portar  para Android e iOS.
; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #3 de 10
resiliencia  
em 19/02/2022 22:29
Será que o JS não está desabilitado?
; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #4 de 10
pato_amarelo  
em 19/02/2022 22:39
O Selenium pode ser usado com o Firefox ou com o Chrome. Experimente alternar o navegador e veja se o problema continua 
; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #5 de 10
urbietorbi  
em 19/02/2022 23:30
Tem resposta para isso aí no stackoverflow
; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #6 de 10
ClarkKent  
em 21/02/2022 15:20
@FlyCavok

Eu estou selecionando é pela class "ib-product-price " mesmo.

O Selenium tipo simula um navegador, a questão é que , acessando o mesmo site, o código html que está chegando para o selenium é diferente do html que chega para o navegador em minha máquina.
@Norton92
Acho que não é isso, pq estou buscando o preço de vários produtos (acessando várias páginas diferentes por meio de um loop). Somente na página desse produto que ocorreu isso.
(em outros produtos, nos quais também há desconto,  estão sendo buscados os dois preços)

@urbietorbi
O tópico que vc fala é esse (weLIXO-River - Selenium returns different html source than viewed in browser - Stack Overflow ) ?
Eu estou fazendo é em headless (como sugere o tópico) mas mesmo assim o problema persiste.

Na verdade eu estou fazendo tudo pelo google Colab.

Aos demais, agradeço pela tentativa de ajuda.
; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #7 de 10
FlyCavok  
em 21/02/2022 15:44
@ClarkKent   então nesse caso há uma grande chance de ser o que o @hilkon3 falou ali, na primeira mensagem.

Se o html que chega no seu Selenium é diferente, então é a renderização lá no servidor que está trocando esse html. Isso ocorre geralmente por fatores externos ao request que você tá fazendo agora, como sessão (estar logado), cookies, IP  (ex, preços diferentes por região geográfica), dentre outros.

; 2; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #8 de 10
Catullus  
em 21/02/2022 17:35
Alguma chance de o site estar detectando o Selenium e mudando o HTML de propósito para dificultar o web scraping? Não entendo muito do assunto, mas algo assim deve ser possível.

Não sei se serve para o seu projeto, mas também tem o Beautiful Soup (em Python) para fazer web scraping.
; 1; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #9 de 10
zehguleba  
em 21/02/2022 18:10
Dá um pausa após carregar a página no selenium e inspeciona o código procurando por 17,99

Se não achar, possivelmente é questão de cookies mesmo, acho q dá pra importar via Chrome Options no carregamento do weLIXO-River

dependendo do que você quer possa ser que precise até realizar o login no site via selenium para habilitar que os descontos apareçam 
; 0; ; 0;
0 '; 0';
Dúvida - Web scrapping com selenium - #10 de 10

Notificar 1º comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei

Você está em Tecnologia > Dúvida - Web scrapping com selenium
por ClarkKent em 19/02/2022 18:26

9 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.

Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Orientação Esportiva Ofertas e Serviços Bastter System Boletim IR Podcasts Revista Tecnologia - Ajuda Eu Assinar Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Ofertas e Serviços Orientação Esportiva Boletim BS Podcasts IR Tecnologia Ajuda eu Revista Assinar Assinar

BastterZap