Biblioteca Python para leitura de 'tela'

Tecnologia
Haraujo   180º
em 20/07/20 11:09
Nível no Race: Rookie
ver comentários do moderador

Comentários

Último comentário 1º comentário do autor Só moderadores Só os meus Só quem eu sigo Ordenar por gostei
botina 
em 20/07/2020 11:26
Como assim "todo fechado"? Talvez combinar o Selenium e o Beautiful Soup resolva seu problema
Biblioteca Python para leitura de 'tela' - #1 de 16
faceless 
em 20/07/2020 11:41
Está mais parecido com o Scrapy Scrapy | A Fast and Powerful Scraping and Web Crawling Framework para pegar as informações. Mas tem que responder a pergunta do @botina que neste caso seria utilizando o Selenium mesmo.
Biblioteca Python para leitura de 'tela' - #2 de 16
Pai_Naldo  24º
em 20/07/2020 11:52
Talvez fazendo o parse do html.
Biblioteca Python para leitura de 'tela' - #3 de 16
pato_amarelo  180º
em 20/07/2020 13:34
Use o Selenium o python. É a forma que funciona com a maior parte dos sites. Por outro lado, exige muito processamento, pois ela abre uma sessão do navegador.
Biblioteca Python para leitura de 'tela' - #4 de 16
Haraujo  180º
em 20/07/2020 14:12
Nível no Race: Rookie
@botina, quando faço a procura do item que quero na página da internet, o resultado de texto é gerado com se fosse uma IMG, já que não consigo copiar o texto
Biblioteca Python para leitura de 'tela' - #5 de 16
Haraujo  180º
em 20/07/2020 14:12
Nível no Race: Rookie
detalhe, só é possível abrir o site com as informações no internet explorer
Biblioteca Python para leitura de 'tela' - #6 de 16
ThiagoDV  7º
em 20/07/2020 14:54
Nível no Race: Taquipariu 
Tem várias opções. PyAutoGui não é uma delas.

Você precisa fazer raspagem dos dados de uma página web. Já falaram aí o caminho das pedras. Pode ser com BeautifulSoup, com Selenium ou com Scrapy.

Aqui no FAQ de Python tem dois tópicos sobre raspagem de dados: 

Extra[8] - Python - Raspando a Bastter.com com web scrapping - Tecnologia - Bastter.com

Extra[14] - Python - Mais um pouco de web scrapping - Automatizando a pesquisa em sites de pesquisa - Tecnologia - Bastter.com
Biblioteca Python para leitura de 'tela' - #7 de 16
Haraujo  180º
em 20/07/2020 15:13
Nível no Race: Rookie
@ThiagoDV e pessoal, muito obrigado! Irei estudar os tópicos e pacotes fornecidos!
Biblioteca Python para leitura de 'tela' - #8 de 16
ThiagoDV  7º
em 20/07/2020 15:28
Nível no Race: Taquipariu 
@pato_amarelo dá pra economizar processamento abrindo o selenium no modo headless. Vai abrir o processo do navegador mas não vai haver a interface gráfica. 
Biblioteca Python para leitura de 'tela' - #9 de 16
rattola  180º
em 20/07/2020 22:00
@ThiagoDV essa não conheço. Tô usando o Selenium pra uma rotina aqui dependendo do dia leva entre 20 a 30 min totalmente autônomo 
No braço eu demoraria umas 3h por dia.

Vou pesquisar.
Biblioteca Python para leitura de 'tela' - #10 de 16
ThiagoDV  7º
em 20/07/2020 23:24
Nível no Race: Taquipariu 
@rattola lá no site da covid eu usei selenium um tempo pra buscar dados do site do ministério da saúde

A função que instancia o webdriver era mais ou menos assim

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

def instantiate_webdriver():
    """
    Create a webdriver instance
    """
    chrome_options = Options()
    chrome_options.add_argument("--headless")
    driver = webdriver.Chrome(
        executable_path="/usr/bin/chromedriver", options=chrome_options
    )
    return driver

Como eu rodava num servidor não tinha motivo nem tinha como de rodar com interface gráfica então tem que ser no modo headless.
Biblioteca Python para leitura de 'tela' - #11 de 16
ThiagoDV  7º
em 20/07/2020 23:26
Nível no Race: Taquipariu 
E que interessante que você usou Selenium pra automatizar uma tarefa de horas. 

Tou pensando em explorar mais Selenium por aqui porque acho que pode ser muito útil pro pessoal que faz tarefas repetitivas. 
Biblioteca Python para leitura de 'tela' - #12 de 16
Haraujo  180º
em 21/07/2020 00:59
Nível no Race: Rookie
@ThiagoDV estou estudando e vi que de onde quero extrair os dados funciona como se fosse uma aplicação em java no internet explorer, quando abro um menu ele abre uma nova página do internet explorer. Consigo utilizar o selenium mesmo assim?
Biblioteca Python para leitura de 'tela' - #13 de 16
rattola  180º
em 21/07/2020 07:43
@ThiagoDV boa valeu pela dica. A segunda etapa agora quero colocar num server mesmo. Preciso achar um grátis já que não trabalho com dados confidenciais e o acesso ao site q eu faço é público sem login/senha 
Uma coisa interessante é que o beautifulsoup não resolveu e o Selenium só funcionou legal pra mim com o Firefox (Gecko) Chrome não ia nem na bala.

Abs
Biblioteca Python para leitura de 'tela' - #14 de 16
ThiagoDV  7º
em 21/07/2020 10:41
Nível no Race: Taquipariu 
@rattola dá pra rodar no modo headless o firefox também. Mas qual o problema com o Chromedriver na época? 

Acho que foi você que pediu um tempo atrás um tópico sobre Selenium rodando num servidor, né? 

Eu não fiz ainda porque nunca subi Selenium num servidor nem tive muito tempo de testar rs mas vou dar uma pesquisada sobre. 
Biblioteca Python para leitura de 'tela' - #15 de 16
ThiagoDV  7º
em 21/07/2020 11:32
Nível no Race: Taquipariu 
@Haraujo é pra conseguir. O Selenium entende e consegue visualizar outra página. 
Biblioteca Python para leitura de 'tela' - #16 de 16

7 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.