Extra[8] - Python - Raspando a Bastter.com com web scrapping
comentada em 17/02/2020 20:46

@ThiagoDV, muito obrigado...  Estou estudando Python e achei fantastico tua postagem

@Jllpires show de bola. Espero que as postagens estejam sendo úteis.
Qualquer coisa pergunta aí. 

Tem alguma maneira do codigo não falhar, por causa dos acentos, sem ser colocando isso no começo do codigo?

# -*- coding: utf-8 -*- 

@boxveil o código falhou aí? Eu não precisei indicar a codificação binária no meu exemplo. Isso geralmente vem no HTML e o html parser, a ferramenta que lê o html, já decodifica. 

Se falhou mostra o código de erro aí. 

Legal este script

Já fiz muito isso (Web scrapping) usando PHP.

Na época do boom de sites de compras coletivas, eu cheguei a criar um site que listava as principais promoções de todos os sites de compra coletiva de MT. Eram uns 12 na época.

Tinha criado uma tarefa no Cron do servidor para rodar toda noite e varrer todos os sites de compra coletiva para facilitar minha busca por descontos, hehehe!

Andei dando uma pesquisada e vi que às vezes tem que jogar explicitamente no código a codificação pois às vezes aparecem uns caracteres indesejáveis que podem crashear o programa. 

Um parâmetro extra que pode se adicionar na hora de parsear o html seria "from_encoding":

soup = BeautifulSoup(content, "html.parser", from_encoding="utf-8")

Mas pelo que entendi, se estiver corretamente identificado no html, esse parâmetro é desnecessário. Ele vai entrar em ação caso não haja identificação no html. 

@janesrcosta taí um bom exemplo do uso de programação pra facilitar a vida

Corrigindo, listava todas as promoções de todos os 12 sites. Dava mais de 100 promoções por semana. Comia pagando 80%, 90% do valor dos pratos, Rssrsrs

Mas de fato, nessa época era mais ativo com programação e brincava mais com os códigos.

Precisando achar algumas coisas como estas para fazer.

Outro exemplo que não envolve tanto uma linguagem conhecida, mas envolve um pouco de programação com scripts. Na época da Telexf*** eu mexia com MMN (tá, pirâmide, e foi só nessa época que tive contato). Para cada conta da Telex, era preciso fazer 5 anúncios por semana. Geralmente a pessoa entrava com muito dinheiro e tinha 5, 10, 20, 50 contas! Eu mesmo tinha umas 24 contas. 24x5, eram 100 anúncios por semana.

 

Daí eu usei o iMacros e criei um script que postava num site de anúncios, pegava a o link e cadastrava no site da Telexfree. O trabalho de 1h era feito em 5 minutos maios ou menos. O cara que controlava minha rede tinha uns 200 contatos, cada um com 5 a 100 contas, e paga alguém só para cadastrar os anúncios. Cheguei a passar o script pra ele e em 1 dia +/- o cara cadastrava os anúncios dos 200 membros da rede dele. O cara que passava a semana toda só fazendo os anúncios passou a fazer isso em poucas horas.

 

Hoje uso o iMacros aqui no serviço para automatizar algumas rotinas repetitivas, como conceder privilégios a alguns sistemas corporativos. Algo que levava de 5 a 10 minutos e fazemos em 30 segundos!

 

Por isso parabenizo o pessoal responsável por essa iniciativa aqui na Bastter. Programação não é s´para quem trabalha na área. Pode ser usado em muitas situações, e salvar muito tempo! Eu mesmo estou começando a estudar Python. Sei diversas linguagens mais complexas, com sintaxes próximas do C, como PHP, Java, C#... Mas nunca trabalhei com uma mais simplificada, como o Python. Talvez comece a estudar Machine Learning e IA depois. 

@ThiagoDV O codigo é igual o seu, mas ele não gostou dos acentos no seus comentários depois da #. Se depois tiver um material ai pra manipular API, seria legal

Mais um excelente topico.
Acabei de imaginar uma aplicação no meu trabalho. Mas preciso de uma luz
Tenho um PABX que gera um arquivo CSV com as ligações feitas. É possivel fazer o download deste arquivo CSV enviando uma solução GET (http). Como fazer pra receber este arquivo pelo Python? Como escolher em que pasta salvar e etc?
Desculpe se estou abusando... Pode me indicar onde consigo as infos.

@boxveil estranho . Rodei numa máquina no Windows e outra em Linux e nos dois rodou de boa, criou o documento e tudo. Tá dando erro em qual linha? E que tipo de material para API você quer? Quer criar uma API tipo REST? Tou pensando em fazer uns CRUDs aqui depois de falar de funções na parte teórica dos tópicos. 

@Orionte valeu :) não tá abusando nada, que isso. A área aqui é pra isso, pra perguntar, ir lá e fazer. 

Esse arquivo fica armazenado num site? Se sim, você sabe algo de html? O download é feito clicando num link simples? Detalha mais aí. Pode ser que seja bem tranquilo. 

@janesrcosta cara usou programação pra melhorar o MMN  foi engraçado. Cara, obrigado pelas palavras. E eu agradeço também, um comentário seu num tópico antigo aqui do site me deu algumas luzes na época que eu tava começando a me interessar por programação. 

E é engraçado fazer essa troca de conhecimento entre linguagens. Comecei com Python e quando fui ver C passei muito mal no começo haha queria criar string formatada e o diabo a 4 e não compilava nada haha foi mexendo com C#que aprendi mais a criar alguma coisa em linguagens mais fortemente tipadas.

Se tiver dúvida com algo de Python e eu puder ajudar fala aí. Tou pensando em inserir algumas coisas de machine learning daqui um tempo por aqui. Data science eu já pretendo uns tópicos daqui a pouco. 

@ThiagoDV em todas as linhas de comentários com acento.
Sim, de rest

@boxveil muito estranho  aqui rodou com os comments. Tira os comments então haha

Python tem um framework específico para API Rest que é o Django REST Framework. No site oficial tem um tutorial. Tá na minha fila de estudos. Só desenvolvi API Rest usando Ruby on Rails, com Django Rest ainda não mas tá sendo usado no mercado.

Dá uma olhada depois: https://www.django-rest-framework.org/

Outro framework web de Python, o Flask, também tem suporte para API Rest: https://flask-restful.readthedocs.io/en/latest/

O Django é mais estilo "te dou as coisas prontas". O Flask é bem mais customizável, te dá só o mínimo e o resto você escolhe como manipular. 

@ThiagoDV Opa! Olha só! Quer dizer então que um comentário meu lhe foi útil? Fiquei até curioso para saber qual foi. rsrsrs!
Geralmente na Faculdade se começa (ou começava no meu tempo) pelo C Turbo Pascal. Comecei por aí, depois fui pro PHP, e por fim pro Java. Hoje acredito que as universidades estejam usando o Python, que não era muito conhecido na época em que fiz meu curso.

Estou estudando pelos vídeos do Guanabara.. E confesso... que tédio! Os vídeos são bons e bem produzidos, mas são para INICIANTES. Daí é muito embromation sem fim, sem contar as propagandas e pedidos para apoiar o projeto. Só assistindo mesmo pq curti a edição das partes teóricas e as animações e analogia a jogos, e as vezes tem uns TIPs de linguagem legal lá, Mas acho que vou começar a acompanhar aqui tb, que está mais evoluído e completo.
Quando eu era solteiro tinha mais tempo para brincar com linguagens. Cheguei a fazer um framework completo em PHP, um portal, todo em MVC, com diversos módulos. Foi muito útil, pois aprendi muitos conceitos de programação, de orientação em objetos, de design patterns, e ajuda a compreender melhor os frameworks como Joomla, Wordpress, etc... Até cheguei a desenvolver alguns módulos pra um framework em Codeigniter chamado PyroCMS..

Quando entrei aqui no atual órgão onde estou lotado, havia uma sessão de desenvolvimento. Era mais focado em Java. Foi a oportunidade de me aprofundar em Java. Infelizmente hoje acabaram com o setor de desenvolvimento, centralizando em Brasília e alguns estados com unidades maiores. Juntaram com o suporte técnico... PENSA NUM TREM CHATO É SUPORTE TÉCNICO!
Por isso eu digo pro pessoal aqui que é novo e quer entrar no serviço público pensar muito bem antes. Infelizmente você emburrece no serviço público se não ficar estudando por fora, se inovando, buscando conhecimento, nem que seja para "brincar" (pois talvez não utilizará no trabalho). Acaba sendo um ambiente tóxico, pessoas tóxicas e acomodadas, e de nada adianta se destacar, pois vai trabalhar mais enquanto os outros ficam coçando. Mas é preciso continuar crescendo e aprendendo.. 

@Orionte

Acho que é possível sim. Se o equipamento estiver na rede, e tiver um IP, é possível acessá-lo. Veja no site da fabricante o modelo e marca, e veja se eles possuem alguma API ou forma de se comunicar com ele. Aqui foi feito algo semelhante em Java no passado, mas não com PABX, e sim com relógios de ponto. Um script em java que acessa ele e pega as batidas de ponto, joga no banco de dados Oracle para alimentar o sistema de ponto do órgão. O criador do script teve que compreender como o relógio funcionava, o sistema que ele usava, para poder interagir com ele. Hoje isso é feito por um sistema de controle de catracas eletrônicas e relógio de ponto, mais completo. Se ele estiver conectado a um servidor e tiver um sistema instalado, deve ser mais fácil ainda. 

@janesrcosta eu não lembro mais qual comentário foi. Foi um tópico antigo estimulando a galera a aprender programação, eu acho, e teve vários insights legais e um deles foi um teu, mas não lembro mais qual foi haha

E escorreu uma lágrima aqui quando você disse que aqui tá mais evoluído e completo que o do Guanabara haha ainda mais porque meu primeiro contato com programação foi com o canal dele. Mas sim, esse curso de Python dele é pra iniciante total. Quem já programou alguma vez na vida vai achar um tédio sim. Pra mim foi muito útil na época mas depois passei a andar por outros caminhos. Mas muito bom ler isso, de que aqui tá mais evoluído haha tou tentando não empurrar só teoria e sim sempre mostrar coisas práticas pra deixar a parada mais interessante.

Se tem interesse em Python mesmo tem um canal mais avançado que eu acompanho no Youtube, eu me espelho nele (e no livro "Python Fluente", que é bem avançado) pras postagens que jogo aqui e pros vídeos que pretendo gravar (gravei dois mas o som saiu horrível, comprei um microfone mas os Correios atrasaram bastante a entrega, então tou esperando), que é esse aqui: Eduardo Mendes
- YouTube

Eu tenho vontade de falar de coisas mais avançadas aqui também, das profundezas da linguagem, mas muita gente não teve contato nenhum com programação então a parte mais "avançada" eu jogo nos tópicos extras e a teoria nos tópicos usuais. E acho que coisas avançadas demais ninguém ia nem ler. Mas se tiver quórum eu começo a falar mais do modelo de dados da linguagem, explico porque as coisas acontecem dessa maneira, falo disso aqui: https://docs.python.org/3/reference/datamodel.html etc

Sobre serviço público, é isso mesmo. Serviço público você emburrece demais pelo ambiente que se instala, de comodismo por parte da maioria. E suporte técnico eu tenho noção como é um saco pela galera do suporte aqui do meu órgão haha.

O que me estimulou bastante no início com programação foi começar a criar programas para serem usados no meu trabalho. Foi um boom no meu aprendizado. 

Mas não adormece o desenvolvedor dentro de ti não rs tem muita forma de fazer dinheiro com desenvolvimento. A área na qual sou graduado amarra muito a atuação do profissional, e ainda fui virar servidor público rss

Desenvolvedor tem mais liberdade de agir e fazer uma grana por fora. É uma motivação a mais pra mim. 

Excelente post @ThiagoDV . Parabéns.

@Pai_Naldo muito obrigado por prestigiar. 

@ThiagoDV

Então, não adormeci a programação, mas está meio que sonolenta. Sempre fico praticando fora do expediente. Já comecei a fazer cursos no Udemy de C# com Unity3D para jogos. Comecei a estudar Java para Android. Ia começar a estudar React ou outra linguagem híbrida para mobile, e acabei começando Python. Tô meio sem saber pra onde ir, kkk.. Talvez pensando no ORUTUF, e quem sabe uma forma de virar a a chave, comece python (que está crescendo e é a linguagem mais procurada em 2019), além de IoT, Machine Learning, etc... Seui lá. Pensando em se preparar para o ORUTUF.

Estava pensando em pegar um freela por fora, mas minha formação e conhecimento e mais para Web, que está meio em decadência ultimamente. Por isso queria ou partir para área de jogos por Hobby mesmo, ou para mobile por conta do mercado atual, ou ainda para IA, IoT, machine learning, pensando no ORUTUF.

Vou dar uma olhada nestas recomendações mais avançadas de python. Preciso passar pelo básico porque sempre estudei linguagens fortemente tipadas, e a sintaxe do python algumas vezes me deixa perplexo pela simplicidade e mudanças na sintaxe... Ontem mesmo estava vendo o IF simplificado, que é bem diferente dos operadores ternários de outras linguagens. Você executa o bloco antes de fazer a condição (ex: PRINT() IF var == true ELSE faça nada, quando na verdade aprendi IF var == true PRINT()). Ou quando você vai usar o join(), você informa o caracter de concatenação antes, fora da função. (Ex: '-'.join(var)).. Algumas coisas são bem estranhas

@ThiagoDV
Outra coisa, existe algum post ou sessão no site contendo um índice das postagens de python já feitas? Seria legal concentrar  o link numa única postagem, pois fica mais fácil achar as postagens anteriores.

@janesrcosta , @ThiagoDV , obrigado pela ajuda.
Assim que eu tiver um tempinho vou tentar fazer isto como exercicio pratico. Postarei o resultado (ou a incapacidade de alcança-lo ) por aqui.

@janesrcosta eu tava assim quando comecei tudo. Ao já ter uma boa noção de lógica comecei a ficar completamente perdido. Estudei web, javascript, C#, banco de dados, tudo ao mesmo tempo e fiquei quase louco rs então pelo visto não é algo incomum.

Eu acho a versatilidade de Python fantástica. Linguagem que pode ser usada para web, para análise de dados, para machine learning, para automatização, robótica, etc. Uma vez li uma frase que era algo do tipo "Python pode não ser a melhor linguagem para muita coisa mas com certeza é a segunda melhor linguagem para tudo" e concordo por tudo que vi até agora ser possível de se fazer com a linguagem. 

Mas cara, pelo que ando vendo, web não tá em decadência não. Tá cheio de job no StackOverFlow jobs pagando bem e pedindo conhecimentos de web. Talvez no BR o mercado não esteja pagando muito bem mas lá fora tem muita oportunidade. Por isso metade do meu tempo de estudo por dia é aprimorando o inglês visando essas chances de jobs lá fora. 

Mas vê esse canal e se tiver muita curiosidade procura esse livro. Mas eu vou soltando umas pitadas de coisas mais avançadas por aqui também, porque eu só fui entender a linguagem mais a fundo quando eu me meti a entender mais o que acontecia por debaixo dos panos. E sabendo que tem gente interessada por aqui me motivo a falar de coisas mais avançadas. 

Sobre um índice, eu tou pensando em concentrar numa região do site como num FAQ, o link para todas as postagens. Eu já disse por aqui que era só filtrar as postagens pelo meu nome e por data mas acho que fica muito chato toda a experiência do usuário pra chegar nisso. Acho que vou organizar os links num FAQ.

@Orionte cara esse tipo de exercício é a melhor forma de aprender a programar. Ver um problema seu do dia a dia e tentar resolver. Vai aprender muito mesmo. Posta aqui os resultados. 

@ThiagoDV @janesrcosta
Bom, vamos la.
O basico eu consegui fazer usando conceitos que aprendi nos topicos Extra[7] e Extra[8]


O programa busca as informações no PABX

import requests
import xlsxwriter
from bs4 import BeautifulSoup as bs

url = 'http://192.168.77.101/INSTALLER/12345/Master.csv'
page = requests.get(url)
print(page.text)
<pre>
"","119","110","SIP/phone-019-00c1d370","DAHDI/16-1","","Dial","DAHDI/16,30,","2019-08-05 17:42:26","","2019-08-05 17:42:33","7","0","NO ANSWER","1565037746.120"
</pre>?

Verifiquei que as informações vem dentro de uma estrutura html <pre></pre>.
Usei o BeautifulSoup para separar e limpar e depois criei a planilha com o xlswriter

import requests
import xlsxwriter
from bs4 import BeautifulSoup as bs

pabx = 'http://192.168.77.101/INSTALLER/12345/Master.csv'
page = requests.get(pabx)
soup =bs(page.text, 'html.parser')
filtrar_pre = soup.find_all('pre', {})
info = filtrar_pre[0]
info_limpa = info.get_text()
novo_arquivo = xlsxwriter.Workbook("Master.xlsx")
nova_planilha = novo_arquivo.add_worksheet()
nova_planilha.write(0, 0, info_limpa)

novo_arquivo.close()?

Ok. Funcionou! Mas tem algumas coisas que eu gostaria de melhorar (se alguem tiver alguma dica agradeço!):
-criar arquivos com nomes sequenciais, de preferencia constando a data da coleta no nome do arquivo, sem remover ou sobrescrever o arquivo anterior. [este eu até imagino como fazer mas ainda não tive tempo]
-Fazer que este programa rode automaticamente com periodicidade pré determinada (ex: diario, semana, etc...) [este não faço ideia de como fazer]

Fiquei feliz com minha primeira aplicação pratica do curso! Obrigado a todos!

@Orionte que alegria ler isso. Ganhei o dia hahaha fez tudo que criei até agora aqui valer a pena. Um ótimo exemplo pra mostrar que aprender programação não é só pra desenvolvedores profissionais. Parabéns pela sua primeira aplicação!

Agora as dúvidas:
Tem várias formas de pegar a data atual, inclusive com as horas, minutos e segundos. Se você faz muitas requisições desse tipo por dia, talvez seja interessante adicionar a hora atual. Se não, se for no mínimo diária a frequência, a data já é o bastante. Então de posse da data você pode adicionar a data no nome do arquivo para diferenciar.

Abaixo tem uma das várias formas de se obter data e hora em Python:

In [1]: from datetime import datetime

In [2]: datetime.today().isoformat()  # Retorna a data atual com as horas, minutos, segundos e milésimos de segundos                                               
Out[2]: '2019-08-05T20:04:40.125233'

Tem outras funções que retornam somente hora ou somente dia, etc, então veja a documentação da lib datetime: https://docs.python.org/3/library/datetime.html

Mas abaixo uma forma de resgatar todos os dados usando slicing:

In [1]: from datetime import datetime                                               

In [2]: current_date_and_time = datetime.today().isoformat()                        

In [3]: current_date_and_time                                                       
Out[3]: '2019-08-05T20:07:06.346666'

In [4]: year, month, day, hour, minute, second = ( 
   ...:                                           current_date_and_time[0:4], 
   ...:                                           current_date_and_time[5:7],  
   ...:                                           current_date_and_time[8:10], 
   ...:                                           current_date_and_time[11:13], 
   ...:                                           current_date_and_time[14:16], 
   ...:                                           current_date_and_time[17:19] 
   ...:                                           )                                 

In [5]: print(f'Ano: {year}, mês: {month}, dia: {day}, hora: {hour}, minutos: {minut
   ...: e}, segundos: {second}')                                                    
Ano: 2019, mês: 08, dia: 05, hora: 20, minutos: 07, segundos: 06

Pode não ser a forma mais prática mas foi a mais completa que achei de te mostrar a captura de todos os dados. De posse dessas variáveis você pode fazer o seguinte:

import xlsxwriter
from datetime import datetime
from random import randint

# Captura dos dados de data e hora
current_date_and_time = datetime.today().isoformat()
(year, month, day, hour, minute, second) = ( 
                                            current_date_and_time[0:4], 
                                            current_date_and_time[5:7],  
                                            current_date_and_time[8:10], 
                                            current_date_and_time[11:13], 
                                            current_date_and_time[14:16], 
                                            current_date_and_time[17:19] 
                                           ) 

# Nome do arquivo
filename = 'Blablabla'
# Nome da planilha
sheet = 'Blobloblo'

# Abertura do arquivo com a data e hora no nome
workbook = xlsxwriter.Workbook(f'{filename}_{hour}{minute}{second}_{day}{month}{year}.xlsx')
# Criação de uma planilha
worksheet = workbook.add_worksheet(f'{sheet}')

# Geração de uma lista de números aleatórios
data = [randint(1, 100) for x in range(100)]

# Escrevendo na planilha
worksheet.write(0, 0, 'Data de coleta')
worksheet.write(1, 0, f'{hour}:{minute}:{second} - {day}/{month}/{year}')
worksheet.write(0, 1, 'Dados')
worksheet.write_column('B2', data)

# Fechamento da planilha
workbook.close()

O resultado:


Você também pode definir um path para o nome do arquivo e adicionar ao nome da planilha. Então pode-se criar uma pasta em seu sistema só para isso e como nenhum arquivo nunca vai ter o mesmo nome por conta da hora, dá certo salvar em sequência:

path = 'C/User/Documents/Blablabla/'
filename = 'Blablabla'
sheet = 'Blobloblo'
workbook = xlsxwriter.Workbook(f'{path}{filename}_{hour}{minute}{second}_{day}{month}{year}.xlsx')

Exemplificando no shell:

In [11]: path = 'C/User/Documents/Blablabla/'          

In [12]: filename = 'Planilha.xlsx'

In [13]: print(f'{path}{filename}')                    
C/User/Documents/Blablabla/Planilha.xlsx

Assim você define uma pasta só para seus arquivos gerados com seu programa.

Sobre agendar tarefas, eu tinha postado outra resposta aqui mas apaguei depois de dar uma pesquisada. Achei essa lib aqui: https://pypi.org/project/schedule/

Documentação: https://schedule.readthedocs.io/en/stable/

Fiz um teste no código que postei acima. O código a seguir roda a cada 1 minuto salvando uma nova planilha na minha pasta:

import schedule
import time
import xlsxwriter
from datetime import datetime
from random import randint


def creates_worksheet():
    current_date_and_time = datetime.today().isoformat()
    (year, month, day, hour, minute, second) = ( 
                                                current_date_and_time[0:4], 
                                                current_date_and_time[5:7],  
                                                current_date_and_time[8:10], 
                                                current_date_and_time[11:13], 
                                                current_date_and_time[14:16], 
                                                current_date_and_time[17:19] 
                                                ) 
    filename = 'Blablabla'
    sheet = 'Blobloblo'
    workbook = xlsxwriter.Workbook(f'{filename}_{hour}{minute}{second}_{day}{month}{year}.xlsx')
    worksheet = workbook.add_worksheet(f'{sheet}')

    data = [randint(1, 100) for x in range(100)]
    worksheet.write(0, 0, 'Data de coleta')
    worksheet.write(1, 0, f'{hour}:{minute}:{second} - {day}/{month}/{year}')
    worksheet.write(0, 1, 'Dados')
    worksheet.write_column('B2', data)

    workbook.close()

schedule.every(1).minutes.do(creates_worksheet)  # Joga na fila do schedule a função creates_worksheet a cada 1 minuto

while True:
    schedule.run_pending()  # Roda o que está na fila do schedule, mas enquanto não há nada na fila (o intervalo entre um minuto e outro) não roda nada
    time.sleep(5)

Se você deixar esse script aberto na sua máquina, a cada 1 minuto uma nova planilha será salva. Testa aí.

Vou até transformar em tópico em breve essa possibilidade. Acho que deve interessar a muitos por aqui. 

Vale a pena aprender a biblioteca requests, mas o dia que você precisar fazer centenas de requisições, o script acaba ficando bem lento porque ela é serial. Existem bibliotecas mais modernas que executam as tarefas em paralelo utilizando as funcões assíncronas do python (asyncio).

Para substituir a requests, a aiohttp.Client tem interface bem similar, mas executa em um loop de eventos. Em um script de scraping que eu converti de uma para outra, o tempo de execução passou de horas para minutos.

É uma outra forma de programar, um pouco mais complicada, que não recomendo para iniciantes. Mas vale muito a pena para aumentar o desempenho.

Outra dica é usar as funções select e select_one do BeautifulSoup4. São funcões que usam seletores CSS para filtrar, que são bem amigáveis para quem conhece HTML que a interface tradicional com find e find_all.

@Flávio79 não conhecia essa lib aiohttp.Client. Vou dar uma olhada depois. 

Tem também a scrapy. Ela faz requisições assíncronas também. Não sei muito dela mas acredito que ela faz o papel da requests e da BeautifulSoup4. Ela faz a requisição e o tratamento dos dados recebidos. Mas na época que vi achei a lib bem interessante, mais até que a bs4. 

@ThiagoDV quando preciso fazer um scrapping em uma página que necessita de um login, por exemplo

essa forma seria otimizada para tal ou seria melhor uma biblioteca como o selenium, por exemplo?

apenas um exemplo de curioso, comecei a mexer com isso agora e surgiu essa questão

@lfzz cara eu nunca usei Beautifulsoup pra fazer login não, quando eu quero simular mesmo o usuário interagindo com o site (inclusive enviando login e senha) eu prefiro o Selenium, mas já vi gente dizendo que o Beautifulsoup faz tudo que o Selenium faz. Só tem que ver na documentação como é, mas eu prefiro o Selenium. 

@ThiagoDV acredito que seja a forma mais fácil mesmo, vou tentar fazer algo a respeito e te falo se rolou, ainda mais quando é servidor interno (com o IP de endereço) acredito que o beautifulsoup não funcione tão bem