software de pesquisa
comentada em 07/08/2019 23:32

Fala, @pearl legal que você tá começando a ler o material na ordem do FAQ. Ainda falta bastante coisa pra eu dizer aqui mas eu já ia criar um tópico falando disso: quem tá estudando pelos tópicos eu aconselho a já tentar meter a mão na massa com algo que seja útil como o seu caso. A gente só aprende a programar programando.

Dito isso, se você quer automatizar os downloads dos pdfs de determinados sites, o web scraping é o caminho. Ainda vou postar mais tópicos sobre o assunto mas como a intenção aqui é atingir muita gente então tou sendo bem generalista nos tópicos "extras", mostrando as possibilidades pra atiçar a curiosidade do pessoal. 

Então no teu caso eu recomendo já ir dando uma estudada em html e css básico pra entender como capturar as informações da página web. Eu em breve vou começar a abrir tópicos sobre web aqui também, tou só esperando uns ajustes no site. 

E o Python tem bibliotecas pra leitura de PDF. Eu mesmo já criei um script (bem feioso, admito haha mas tava com pressa pra resolver meu problema) que abre vários PDFs em sequência, captura uma informação específica e abre uma planilha: https://github.com/ThiagoDiasV/Chromecast-pdf-reader olha o arquivo "reader.py".

Mas vou logo dizendo: pdf é a pior fonte de captura de dados possível. Muitas vezes você vai precisar saber um assunto chamado "expressões regulares" pra conseguir capturar o texto da forma que você quer.

Ao tentar criar esse meu programa eu usei uma lib diferente que lia o pdf de forma completamente despadronizada e foi difícil achar uma lógica de captura dos dados. Aí procurei outra biblioteca que é a que usei nesse script que depende de Java instalado na máquina. Com ela eu consegui resolver meu problema. 

Mas é possível fazer sim. Vai tentando abrir pdf com Python na sua máquina pra ir começando. Neste meu script eu usei a lib "tika" mas tem outras como pdfrw, pypdf, etc. Aqui um texto sobre uma: https://realpython.com/pdf-python/

Vai lendo sobre web scraping também, as libs disponíveis como BeautifulSoup4, requests, scrapy, etc

Resumindo: assuntos importantes pra fazer esse tipo de programa: base do Python para fazer a lógica do programa, web básica (html, css, talvez javascript se for uma página dinâmica), expressões regulares, web scraping e libs leitoras de pdf. 

E segue acompanhando os tópicos aqui pra ir pegando a base. Qualquer dúvida posta aí. E valeu por prestigiar. 

Ctrl+F já não faz isso ?

ctrl c + ctrl v também copia e cola coisas, já precisei colar 50 colunas de planilhas dispersas em 50 arquivos .xlsx diferentes, uma coluna por arquivo, num arquivo só. Também já precisei copiar uma única linha de 60 PDFs diferentes e passar os dados pro Excel. Ia demorar alguns bons minutos (no caso dos PDFs, mais de uma hora) pra fazer isso com ctrl c + ctrl v. Fiz script pras duas ocasiões que resolve isso em poucos segundos. 

Deixo aqui uma página de um curso online grátis de python que tem um pouco sobre expressões regulares.

Isso é algo que eu estudo, estudo, e nunca aprendo sem ter que consultar posteriormente, rsrsrs

https://www.pythonprogressivo.net/p/strings-em-python.html

@janesrcosta também já estudei várias vezes mas como não uso muito, sempre que preciso usar tenho que dar uma pesquisada pra relembrar