Leitor de RSS em Python / que informações são passadas para o servidor?

Tecnologia
Catullus  
em 16/06/20 14:50

Comentários

Último comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei
TomW  
em 16/06/2020 14:56
; 2; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #1 de 8
ThiagoDV  
em 16/06/2020 15:32
Nunca mexi com RSS então tou boiando com a dúvida. 

Acredito que saber se é programa Python ou não tanto faz. Isso acredito ser algo indiferente. 

Eu procuraria alguma lib que trabalhasse com RSS. 

Numa busca rápida achei essa aqui Documentation — feedparser 5.2.0 documentation
; 4; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #2 de 8
Abra  
em 16/06/2020 15:39
1. Qual o HTTP status você está recebendo? Eu chuto que seja 401. E, ele queria que você faça uma autenticação.
2. User-Agent é um texto. Você bota o que quiser.
3. RSS é um XML com tags que descrevem um "artigo de um blog". Fazer parse disso é bem de boa.
; 5; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #3 de 8
Catullus  
em 16/06/2020 15:46
@ThiagoDV

Obrigado pela dica. Olhando a documentação, vi que o feedparser permite modificar o user-agent informado ao servidor, e é exatamente o que eu preciso.

Agora, que outras informações o servidor recebe além do user-agent e do IP de quem tenta acessá-lo? Eu realmente não sou muito versado nessa área de servidores web.

@Abra
Com o navegador ou leitor de RSS, consigo acessar normalmente. Não fiz o teste para ver se seria bloqueado caso o acessasse através do feedparser (ou outra biblioteca). A ideia, na verdade, é justamente fazer com que a outra ponta enxergue esse acesso como se ele estivesse partindo de um navegador ou leitor de RSS comum. Por isso perguntei sobre o user-agent.

O servidor recebe alguma informação além do IP do usuário e do user-agent? Como falei, não sei muito sobre servidores web.
; 2; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #4 de 8
AthenasWisdom  
em 16/06/2020 16:56
"Agora, que outras informações o servidor recebe além do user-agent e do IP de quem tenta acessá-lo?"

Vc tem o cabeçalho do protocolo HTTP todo pra isso. 

Vc pode "inspecionar" o cabeçalho dessa forma aqui:
Usa por ex. a ferramenta de devtools do chrome.
Abre o chrome. Entra na URL, vai abrir os xmls, clica com direito, Inspect -> Aba Network. Se os objetos n estiveram carregados, recarrega a pagina. Clica no objeto .rss. Vai abrir o header da comunicação HTTP. Lá vc encontra o cabeçalho HTTP Request e Response da comunicação. O Request foi o montado pelo navegador.
; 2; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #5 de 8
Abra  
em 16/06/2020 17:16
@Catullus tu pode abrir as ferramentas de desenvolvedor do teu navegador web. 
Na aba Rede/Network. Tem todos as requisições que teu navegador fizer.

Ali tu clica pra ver os headers/cabeçalhos.
Cada linha ali é uma requisição.

Tu vai ver o que teu navegador envia pra o servidor para fazer aquela requisição.

User-Agent é um cabeçalho. Qualquer biblioteca que te permite fazer uma requisição HTTP vai te permitir colocar um cabeçalho nessa requisição.

Usando essa biblioteca padrão do Python os cabeçalhos/headers são um dicionário na lista de parâmetro:

http.client â?? HTTP protocol client — Python 3.8.3 documentation

Só passar ali o user-agent com o texto que tu quiser. Pode copiar o do teu navegador, até.


Se quiser estudar sobre o que contém na requisição:

HTTP/1.1: Request
; 2; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #6 de 8
Flávio79  
em 16/06/2020 20:48
Nunca usei nenhuma lib específica de RSS, mas já usei a requests no Python para fazer scraping de RSS e funcionou bem na época.

O servidor pode saber que é um script que fez a requisição por causa do user-agent, como já foi comentado, mas não é normal redirecionar ou rejeitar por causa disso.

Normalmente o servidor responde corretamente se você acrescentar no cabeçalho da requisição o mimetype correto (Accept: application/rss+xml, text/xml). O primeiro é o mais correto, o segundo é o mais comum. Por padrão, alguns servidores podem responder com html ao invés do xml sem o mimetype mais específico.
; 2; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #7 de 8
Catullus  
em 17/06/2020 15:27
@AthenasWisdom @Abra  
Obrigado! Consegui ver os cabeçalhos, vai ser muito útil na hora de montar a requisição no programa.

@Flávio79
Vou considerar colocar o mimetype também. Obrigado!
; 3; ; 0;
0 '; 0';
Leitor de RSS em Python / que informações são passadas para o servidor? - #8 de 8

6 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.

Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Orientação Esportiva Ofertas e Serviços Bastter System Boletim IR Podcasts Revista Tecnologia - Ajuda Eu Assinar Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Ofertas e Serviços Orientação Esportiva Boletim BS Podcasts IR Tecnologia Ajuda eu Revista Assinar Assinar

BastterZap