Curso básico de programação com Python para iniciantes - D[16] - Python e Excel pt. 2 - 24/09 - 21h
comentada em 25/05/2022 11:07

Aí sim! Estava ansioso! Já ia perguntar se cancelaram o curso e eu não tava sabendo! Haha

@Ceos não, não foi cancelado haha é que essas últimas semanas foram meio doidas com os horários. Continua meio doido de horário por aqui mas vai ser na quinta-feira nesta semana

Quem não participou da parte 1 consegue participar da aula 2 sem dificuldade?

@Treebeard sim. A parte 1 de Excel a gente viu algumas bibliotecas usadas para ler e criar arquivos xlsx e csv. Quinta vamos focar mais em uma biblioteca de criação de arquivos xlsx.

@ThiagoDV tenho assistido as aulas gravadas. Espero até a próxima semana conseguir assistir a todas para tentar assistir algumas ao vivo! O curso está bem legal! Parabéns!

Uma dúvida, sobre o curso de Django, não tem mais aulas ao vivo, certo? Quais os requisitos mínimos ou conhecimentos necessários para acompanhar de boa, sem ficar perdidos, as aulas gravadas de Django?

@LeoVader o curso de Django é pra quem tem um mínimo de conhecimento de Python. O curso aborda um pouco de orientação a objetos que é um assunto que ainda não foi visto no curso de Python. Fora isso com o básico de Python dá pra levar.

Mas eu tentei deixar de uma forma que qualquer um pudesse entender. 

E não tem mais aula gravada. Na verdade é um curso que eu queria recomeçar, não ficou do jeito que eu queria, e como o pessoal não tava dando muita bola eu fechei antes do esperado.

Se daqui um tempo tiver um público maior a gente refaz. Vou fazer de uma forma totalmente diferente. 

Boa tarde Professor, por favor gostaria de aprender como programar o Excel para consultas de vários cnpjs ao mesmo tempo. Já tentei por Power query e não consegui . Pode dar uma luz ? . Desde já agradeço 

@felipelimaadm como seria essa consulta? Detalha melhor aí porque tá muito vago.

postado por @ThiagoDV em 16/05/2022 22:17

felipelimaadm como seria essa consulta? Detalha melhor aí porque tá muito vago.

@ThiagoDV    Eu ja tenho um banco de dados com os CNPjs para serem consultados, gostaria de puxar as informações da receita federal ,consulta via WEb para a planilha do excel de forma rápida.Até mesmo Gostaria de aprender uma forma mais fácil para fazer isso com a programação.  Desde já agradeço a atenção professor 

@felipelimaadm cara isso pode ser tema de um chat mas fazendo em python porque eu não manjo muito de excel haha

Algo como pegar uma planilha com os cnpj, fazer as consultas usando python e escrever na planilha o que deve ser escrito depois das consultas.

Se quiser pode ser o tema do meu chat da próxima semana.

postado por @ThiagoDV em 18/05/2022 14:29

felipelimaadm cara isso pode ser tema de um chat mas fazendo em python porque eu não manjo muito de excel haha

Algo como pegar uma planilha com os cnpj, fazer as consultas usando python e escrever na planilha o que deve ser escrito depois das consultas.

Se quiser pode ser o tema do meu chat da próxima semana.

Sim, por favor, gostaria muito de aprender . Eu nunca mexi com Phyton, mas dar para fazer as consultas pelo site da receita federal para dentro do Phyton e depois exportar e salvar essas conusltas ? A planilha tem em média quase 4 milhoes de CNPJ

@felipelimaadm que dá, dá. Só preciso ver como que é feita essa consulta. Explica aí em poucas palavras como é feita essa consulta e o que necessariamente você quer extrair dela que eu preparo um chat sobre isso e dou na próxima terça.

postado por @felipelimaadm em 18/05/2022 16:30:37
Sim, por favor, gostaria muito de aprender . Eu nunca mexi com Phyton, mas dar para fazer as consultas pelo site da receita federal para dentro do Phyton e depois exportar e salvar essas conusltas ? A planilha tem em média quase 4 milhoes de CNPJ

Eu já fiz esse tipo de consulta rodando um código Javascript dentro de uma planilha EXCEL usando o VBA. Com Python também dá pra fazer a mesma coisa (nesse caso eu usaria Javascript pra fazer a consulta e o Python para ir preenchendo os dados na planilha a cada CNPJ consultado).

Porém a consulta no site da Receita vai esbarrar em um obstáculo: o re-captha. A cada CNPJ do loop o site vai pedir a verificação do "sou humano", que teria que ser feita manualmente. Como são 4 milhões acho que vai ficar inviável.

 O @ThiagoDV pode até fazer um chat ensinando a capturar dados na WEB e salvar no Excel, mas pra esse caso acho que não vai servir,

@adrianocoelho tem algumas formas de quebrar um recaptcha automaticamente mas só vai dar pra saber testando.

postado por @ThiagoDV em 19/05/2022 10:29:23

adrianocoelho tem algumas formas de quebrar um recaptcha automaticamente mas só vai dar pra saber testando.

Eu já tentei fazer isso uma vez e não consegui. A página que ele deve estar tentando acessar é a servicos.receita.fazenda.gov.br/Servicos/cnpjreva/Cnpjreva_Solicitacao.asp , se realmente tiver um jeito de quebrar essa verificação vai ser um aprendizado pra mim.

Mas aí não ficaria muito fácil congestionar e derrubar o site se tiver como fazer isso? Que eu saiba o recaptcha serve exatamente pra evitar isso.

@adrianocoelho pois é, não tendo uma api, acessando o site cada vez a cada cnpj, há chances de não conseguir consultar todos os cnpj da lista em uma velocidade razoável. Mas só vou saber testando.

Mas do jeito que é feito hoje, pra quem nunca teve contato com programação, não seria uma solução trivial pra fazer em um chat de uma hora.

postado por @ThiagoDV em 18/05/2022 18:21

felipelimaadm que dá, dá. Só preciso ver como que é feita essa consulta. Explica aí em poucas palavras como é feita essa consulta e o que necessariamente você quer extrair dela que eu preparo um chat sobre isso e dou na próxima terça.

Boa tarde Professor.  Obrigado pela atenção e disposição em me ajudar.  
A pesquisa é feita no excel através do power query, puxando do site : (https://www.receitaws.com.br/v1/cnpj/27865757000102).
Eu fiz o procedimento seguindo o passo a passo, através deste link: https://ninjadoexcel.com.br/buscar-cnpj-excel/ .    Mas somente consegui puxar 1 cnpj, não estou conseguindo fazer de 4 milhões. São muitos dados e o excel trava quando vai puxar 4 milhoes .
As informações seria os dados das empresas : Data de inscrição ; Data abertura; Porte ; atividade principal ; Estado ; Endereço ; Razao sONcial ; Fantasia ; Telefone ; Email ; Situação ( ativa,inativa...)
Eu tenho uma planilha de consulta excel e acredito que ela faz toda essa busca via power query, só que não é minha, eu pago anualmente para o desenvolvedor dela.  Gostaria muito de aprender como faz essa planilha !!  .  Ela é totalmente via excel .
Mas sabendo realizar essa consulta de outra forma com programação, terá a mesma utilidade e estou apto a aprender também. 
Acessa o link que enviei logo acima, dar uma olhada e veja como funciona por favor e me dar o retorno. 
Muito obrigado . 
 
 

postado por @adrianocoelho em 18/05/2022 20:11

Eu já fiz esse tipo de consulta rodando um código Javascript dentro de uma planilha EXCEL usando o VBA. Com Python também dá pra fazer a mesma coisa (nesse caso eu usaria Javascript pra fazer a consulta e o Python para ir preenchendo os dados na planilha a cada CNPJ consultado).

Porém a consulta no site da Receita vai esbarrar em um obstáculo: o re-captha. A cada CNPJ do loop o site vai pedir a verificação do "sou humano", que teria que ser feita manualmente. Como são 4 milhões acho que vai ficar inviável.

 O ThiagoDV pode até fazer um chat ensinando a capturar dados na WEB e salvar no Excel, mas pra esse caso acho que não vai servir,

Muito Obrigado pela contribuição Adriano!!!  A planilha que pago anualmente é totalmente excel e não tem nenhuma dessas barreiras. Acredito que ela possa funcionar via Power Query, Voce ja chegou a fazer dessa forma? via excel ?  Pode consultar livremente. 
Agora a respeito de programação eu não entendo nada, e nada mesmo !! . Fico muito feliz e grato pela ajuda de vocês aqui , e toda contribuição .  
Quero muito aprender 

@felipelimaadm legal. Esse site que você mandou é de uma API. Tendo uma API para consultar é bem mais fácil, sem precisar quebrar recaptcha.

Mas tem um porém. Você paga essa API ou usa a versão gratuita? Vi na documentação que a versão gratuita só permite 3 requisições por minuto: https://developers.receitaws.com.br/#/operations/queryCNPJFree

A versão paga tem diferentes planos, com opções de 10, 20 e consultas ilimitadas por minuto (esta última tendo um valor meio salgado, a depender do seu uso). -> Receita WS - Webservice de Dados de CNPJ

Dá pra criar um programa e deixar ele esperar as 3 requisições por minuto mas para você preencher os 4 milhões de linhas ia demorar 3 anos pra terminar

Já tendo a versão paga dá pra resolver relativamente rápido com um programa que nem dá muito trabalho de criar. Inclusive dá pra criar fácil em um chat.

postado por @ThiagoDV em 20/05/2022 16:55

felipelimaadm legal. Esse site que você mandou é de uma API. Tendo uma API para consultar é bem mais fácil, sem precisar quebrar recaptcha.

Mas tem um porém. Você paga essa API ou usa a versão gratuita? Vi na documentação que a versão gratuita só permite 3 requisições por minuto: https://developers.receitaws.com.br/#/operations/queryCNPJFree

A versão paga tem diferentes planos, com opções de 10, 20 e consultas ilimitadas por minuto (esta última tendo um valor meio salgado, a depender do seu uso). -> Receita WS - Webservice de Dados de CNPJ

Dá pra criar um programa e deixar ele esperar as 3 requisições por minuto mas para você preencher os 4 milhões de linhas ia demorar 3 anos pra terminar

Já tendo a versão paga dá pra resolver relativamente rápido com um programa que nem dá muito trabalho de criar. Inclusive dá pra criar fácil em um chat.

Eu pago anualmente para utilizar a planilha de consulta sim , ela é totalmente via excel e automática.
Voce consegue acessar nesse link : Planilha de consulta CNPJ – Gestão Office VBA
 Dar só uma olhada ! 
 

Consulta de 3 por minuto não rola!  kkkkkkk seria uma eternidade . 
Eu gostaria muito de aprender a desenvolver essa planilha de consulta ilimitada. Então acho que não seria possivel né ? 

postado por @ThiagoDV em 20/05/2022 16:55

felipelimaadm legal. Esse site que você mandou é de uma API. Tendo uma API para consultar é bem mais fácil, sem precisar quebrar recaptcha.

Mas tem um porém. Você paga essa API ou usa a versão gratuita? Vi na documentação que a versão gratuita só permite 3 requisições por minuto: https://developers.receitaws.com.br/#/operations/queryCNPJFree

A versão paga tem diferentes planos, com opções de 10, 20 e consultas ilimitadas por minuto (esta última tendo um valor meio salgado, a depender do seu uso). -> Receita WS - Webservice de Dados de CNPJ

Dá pra criar um programa e deixar ele esperar as 3 requisições por minuto mas para você preencher os 4 milhões de linhas ia demorar 3 anos pra terminar

Já tendo a versão paga dá pra resolver relativamente rápido com um programa que nem dá muito trabalho de criar. Inclusive dá pra criar fácil em um chat.

Professor, dar uma olhada nesse video, mostra como importar dados da web para excel pelo VBA( não sei o que é isso, kkkk)  .
Link:
   Pelo pouco que assisti, parece ser programação .  Acredito que essa planilha que pago anualmente te essa mesma programação, é muito parecido !!   Assim que ver me dar o retorno, !!  Muito obrigado ! 

@felipelimaadm seria possível fazer a consulta sem limite de consultas pagando aquele valor de 249 por mês haha mas a programação pra isso é muito simples. Daria um chat legal. 

Pode até ser o tema do meu próximo chat. Faço um programinha pra consultar a API acima na forma gratuita mesmo e você tem uma noção de como é feito. 

E VBA é linguagem de programação, que você usa no Excel. Não manjo de VBA mas vou dar uma olhada depois nesse vídeo aí quando voltar pro meu computador

postado por @felipelimaadm em 20/05/2022 18:16
Professor, dar uma olhada nesse video, mostra como importar dados da web para excel pelo VBA( não sei o que é isso, kkkk)  .
Link:
   Pelo pouco que assisti, parece ser programação .  Acredito que essa planilha que pago anualmente te essa mesma programação, é muito parecido !!   Assim que ver me dar o retorno, !!  Muito obrigado ! 

É exatamente assim que eu já fiz, usando o VBA, que é uma linguagem de programação usada nos programas do Office (Excel, Word e Access, etc...).

Só que no Excel uma consulta de 4 milhões de CNPJ's vai ficar muito pesada, ele não é indicado para armazenar tantas informações (inclusive acho que tem um limite de linhas que não lembro qual é). Você disse que ele travou na hora da consulta, isso é normal. Quando a consulta é muito pesada ele fica travado até terminar, mas no segundo plano ele está lá processando.

O link que você mandou gera uma consulta no formato JSON, então eu usaria Javascript para capturar os dados (Python também consegue). Depois daria um jeito de salvar em um banco de dados (talvez o Access suporte essa quantidade de informações). Se você fizer questão de usar o Excel para fazer as consultas, com Power Query você vai conseguir integrar ele com o banco de dados sem ficar travando.

Também vou aguardar um possível chat sobre o assunto, eu uso muito a programação pra automatizar as tarefas do dia a dia e no meu trabalho, mas não sou especialista no assunto rs.

.

postado por @ThiagoDV em 20/05/2022 20:31

felipelimaadm seria possível fazer a consulta sem limite de consultas pagando aquele valor de 249 por mês haha mas a programação pra isso é muito simples. Daria um chat legal. 

Pode até ser o tema do meu próximo chat. Faço um programinha pra consultar a API acima na forma gratuita mesmo e você tem uma noção de como é feito. 

E VBA é linguagem de programação, que você usa no Excel. Não manjo de VBA mas vou dar uma olhada depois nesse vídeo aí quando voltar pro meu computador

Muito bom Professor!!  Obrigado mesmo pela informação e ajuda !! 

Dar uma olhada no vídeo sim, porque essa planilha que adiquiri a qual eu pago anualmente percebi que ele mexe com essa programação de vba com excel puxando os dados via web da receita federal .  Mas infelizmente não sei fazer isso . 
Dar uma olhada no video acima , o rapaz explica de como fazer buscando o CEP, mas o nosso caso é CNPJ.  Fico muito grato !!   Fico aguardando retorno 

E fazendo um chat a respeito disso seria incrível mesmo , muito legal !!  Vai agregar muito conhecimento aqui .  Obrigado professor!! 

@felipelimaadm cara vou falar do teu problema no chat de hoje, às 19:30. Vou pro lado de tentar resolver o problema usando Python mesmo, sem VBA, mas vai que o que eu falar pode te ser útil de alguma forma.

Você usa o Google Colab no curso?

@Ynvestidor não uso google colab mas é uma ferramenta boa pra aprender.

@felipelimaadm cara o chat de ontem foi inspirado nesse teu problema. Não resolve teu problema mas dá uma luz de como resolver programando. Dá uma olhada lá na galeria.