Bases de dados abertas com dados de empresas

Ações
dwightschrute  
em 01/08/20 12:55

Comentários

Último comentário 1º comentário do autor Só moderadores Só quem eu sigo Ordenar por gostei
Pai_Naldo  
em 01/08/2020 13:03
Vai usar o que para fazer?
; 0; ; 13;
0 '; 0';
Bases de dados abertas com dados de empresas - #1 de 25
oxe  
em 01/08/2020 13:13
Acho improvável que haja uma base de dados aberta que forneça essas informações num histórico longo, de fácil acesso e agrupadas. Em geral se cobra caro por essas informações, justamente porque a demanda é elevada e dá trabalho consultar dados históricos.

Você consegue essas informações gratuitamente para as stocks na plataforma Edgar, da SEC; e, para as empresas brasileiras, na B3. Não sei se você consegue puxar automaticamente dessas bases de dados sem muito erro, aqui no site a galera tem dificuldade com isso e até hoje as informações da B3 são inseridas manualmente e as das stocks vêm de uma base paga.

Boa sorte aí com seu trabalho! 
; 13; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #2 de 25
dwightschrute  
em 01/08/2020 13:18
@Pai_Naldo
Na pior das hipóteses Python/Pandas pra fazer um parse gigante dessa área aqui do site da B3: Empresas Listadas | B3
Também encontrei um trabalho que usa a API financeira do Yahoo! pra fazer análise - mas é sempre análise de cotação, nunca de nada além de cotação. Então não parei pra olhar o Yahoo pq estou com receio que não forneça tudo o que eu precisaria.
Pra fazer a parte preditiva, minha ideia é submeter os anos de "aprendizado" à biblioteca Prophet do Facebook, ARIMA e LSTM. E comparar o desempenho deles à "the real thing".
; 7; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #3 de 25
dwightschrute  
em 01/08/2020 13:23
@oxe Valeu!
Eu comecei a pesquisar agora de manhã, então ainda estou na esperança de encontrar um caminho, nem que seja fazendo um parser. Com um histórico curto e bastante trabalho de tratamento, vi que a CVM também disponibiliza alguma coisa no portal "Dados Abertos", por exemplo: Cias Abertas: Documentos: Formulário DFP - Demonstração de Resultado (DRE) - Conjuntos de dados - Portal Dados Abertos CVM
; 4; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #4 de 25
Pai_Naldo  
em 01/08/2020 13:39
@dwightschrute Eu acho que vai ficar um trabalho bem legal, hein. 

Tudo bem que a maior parte do trabalho de big data e IA é limpar os dados, mas quando funciona é uma beleza!
; 3; ; 1;
0 '; 0';
Bases de dados abertas com dados de empresas - #5 de 25
dwightschrute  
em 01/08/2020 13:47
@Pai_Naldo o Yahoo tem os dados sim. Então a abordagem com Python/Pandas tá cada vez mais provável. E @oxe parece que eles conseguem fornecer 40 anos de dados (não sei se de todos os mercados, mas olhando o profile de empresas brasileiras lá parece que sim), com 30 dias de acesso gratuito.
Fico me questionando se é moralmente aceitável me cadastrar, baixar a base histórica e sair fora (mesmo que pagando por um mês), mas parece-me que o "valor" que o povo tenta vender com as contas pagas nesses sites é a cotação em tempo real, quanto foi negociado a cada dia, etc etc. Tipo, ainda não achei ninguém perguntando em fóruns como acessar alguma informação de demonstrativo :-D
; 4; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #6 de 25
Oogway  
em 01/08/2020 13:54
Cara, troca uma ideia com o @ThiagoDV, ele é moderador da área de tecnologia. Quem sabe não surge um projeto bacana aqui com os alunos dos cursos de python?
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #7 de 25
Pai_Naldo  
em 01/08/2020 13:56
@dwightschrute Se vc assinar, pagar certinho e pegar os dados que o site oferece e depois sair, não me parece moralmente ruim.

Faz parte do jogo. 
; 6; ; 1;
0 '; 0';
Bases de dados abertas com dados de empresas - #8 de 25
dwightschrute  
em 01/08/2020 14:00
@Oogway é uma ideia legal, mas tenho que entregar o TCC até o fim de setembro :-) Vou tentar amadurecer o trabalho primeiro, porque tenho que cumprir essa tabela, e aí converso até com uma coisa mais consistente em mãos. Obrigado!
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #9 de 25
ARegularGuy  
em 01/08/2020 14:22
Tentou Quantopian?
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #10 de 25
1x0  
em 01/08/2020 15:28
@dwightschrute não tenho certeza se tem o horizonte q vc está procurando, mas já tentou o GetDFPData no R?
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #11 de 25
wmmm  
em 01/08/2020 16:06
Fiz um código aqui para pegar bastante informação do site de dados abertos da CVM, como já foi falado ali em cima... Limpei os dados, também fiz algumas métricas de crescimento e de "crescimento de crescimento" de diversos indicadores. Alguns detalhes complicados para você pensar ao longo dos seus estudos:
1. Eventos não recorrentes
2. Formato das demonstrações variam ao longo dos anos e entre setores (notadamente o bancário e de seguros)
3. Não se decepcione com os resultados de cara. Tente aplicar a um domínio mais restrito, tente aplicar análises comparadas dentro de cada setor/segmento específico. Não tem como analisar margin de varejista contra transmissão de energia. Mesma coisa com endividamento, etc.
4. Cotações são random walks
; 7; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #12 de 25
dwightschrute  
em 01/08/2020 16:10
@WillMichels rapaz, obrigado por todas as observações, mas a "3" é importantíssima! Obrigado. Eu poderia me perder no aspecto mais "nerd" do trabalho (simplesmente comparar, comparar, comparar...) e esquecer disso.
; 3; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #13 de 25
dwightschrute  
em 01/08/2020 16:14
@DorianG @1x0 obrigado!!!
; 1; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #14 de 25
Pai_Naldo  
em 01/08/2020 18:34
@WillMichels Excelentes considerações. Comparar num universo comparável parece óbvio, mas nem sempre é.
; 2; ; 1;
0 '; 0';
Bases de dados abertas com dados de empresas - #15 de 25
fabraz  
em 01/08/2020 19:23
1) cadastre no OpenAI API para obter acesso ao GPT3
2) crie um modelo que responda perguntas #pas, a partir dos dados dos relatorios de stocks, pq nao tem gpt3 para ptbr ainda.

coisas que o gpt 3 viabiliza



agora, se vc quiser cumprir tabela, entre no kaggle, pegue o dado e notebooks.

Huge Stock Market Dataset | Kaggle
; 3; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #16 de 25
dwightschrute  
em 01/08/2020 22:17
@fabraz valeu por ambas as sugestões. a parte de cumprir tabela eu vou fazer cumprindo tabela mesmo, pq é um tiro curto. Dois meses pra entregar o trabalho e ter o título como retorno. E vc tá me dando um ótima ideia. Mas também já tinha o GPT3 como algo a ser melhor entendido para meu próprio estudo e ter alguém pra me lembrar de combiná-los (GPT3 e #pas) foi supimpa :-D
; 1; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #17 de 25
Barao_Bigode_Style  
em 02/08/2020 00:34
Se ta fazendo pós em big dará e IA pq não usa um outro estudo de caso?

Vc mesmo disse que não quer fazer um bot investidor 

Então não entendi kkkk

Boa sorte amigo , parabéns pela vontade de aprender 
; 1; ; 1;
0 '; 0';
Bases de dados abertas com dados de empresas - #18 de 25
dwightschrute  
em 02/08/2020 11:01
@Barao_Fidalgo opa! Eu estou razoavelmente convicto da ideia. Mas se você tiver sugestão, ficarei feliz em ouvir!
Meu negócio de não fazer “bot investidor” é porque 1) não acreditaria muito no potencial de sucesso de algo assim; 2) não sou programador no dia-a-dia.
Eu sou um cara de infra/redes, mas sei programar razoavelmente. Pra dar um exemplo: isso me ajuda a pegar um site Magento que estão me pagando pra transferir pra AWS, e pegar pequenas (ou grandes) bobeiras na arquitetura - normalmente relacionadas a código e aplicação - e começar a sugerir mudanças. Tenho como cliente empresa que gasta hoje com infra menos de UM MILÉSIMO do que ganha com o site.
Já resolvi mais de uma vez problema de desenvolvimento, sendo de infra, usando strace. Vejo as syscalls que estão sendo chamadas, normalmente já tenho o contexto da aplicação, e digo pra alguém: “acho que o problema é que você está fazendo X”.
Nao to dizendo que isso é especial, só explicando meu nicho e pq acho que sou bom nele :-)
DAÍ entra a pós em Big Data. Eu não sou um fã desse tipo de trabalho. Mas acho que como é uma modalidade de aplicação cada vez mais comum, eu precisava ter bons fundamentos nesse campo, para ser capaz de transferir minha abordagem “low level” pra essa área também.
Se alguém criar um “WIX do Terraform”, que gera arquiteturas a partir de linguagem natural, eu não vou poder dizer pra minha mulher que só vamos almoçar dia sim, dia não :-) Eu vou querer ser, em algum nível, necessário para quem o criou. E seguir a vida.
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #19 de 25
Barao_Bigode_Style  
em 02/08/2020 11:46
@dwightschrute meu querido nao entendi nada que vc falou kkk

da uma olhada aqui OpenML

tem dados de problemas variados 

tem este repositorio auqi tambem que é classico: UCI Machine Learning Repository

e as competicoes do kaggle que a moçada já falou.

procure os que ja estao mastigados e foram resolvidos, e proponha uma aplicacao de metodo novo com o que aprendeu no curso
; 2; ; 1;
0 '; 0';
Bases de dados abertas com dados de empresas - #20 de 25
celtiberian  
em 03/08/2020 21:47
No FTP da CVM consegue encontrar dados contábeis de 2009 em diante (aparece ali só 2010, mas o arquivo 2010 tem 2009):

Index of /dados

(os demonstrativos estão e cia aberta -> docs)

Para cotações descontadas confiáveis tem que ser um terminal ou API paga. Até tem fontes grátis como o yahoo finance, mas tem coisas bem estranhas no meio dos dados de certas empresas (teria que validar os dados empresa a empresa antes de usar).

A parte mais trabalhosa em si é ter todos os dados de forma confiável. Tendo os dados você pode treinar a IA (rede neural com algoritmos genéticos?) para diferentes objetivos. Não precisa necessariamente treinar para retornos em cotação, pode treinar para tentar maximizar o lucro da carteira (LPA* quantidade de ações) dado um certo aporte mensal determinado, etc. Pode também fazer um modelo preditivo de lucro ORUTUF com base nos demonstrativos anteriores.

Se conseguir trabalhar com uma base de dados lá de fora vai ser melhor, vai ter muito mais empresas, mais dados, mais anos, etc.
; 1; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #21 de 25
DaviGilmar  
em 03/08/2020 22:01
Já tentou olhar se não existe algum pacote de R que importe dados?
The Comprehensive R Archive Network

O Marcelo Perlin, que frequenta o site aqui e escreveu um livro de renda fixa, manja de R e tinha criado um pacote pra importar dados da bovespa.
Acredito que exista um pra dados de CIAs do exterior.
; 3; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #22 de 25
hardhat  
em 04/08/2020 10:07
Prezado, não sei se foi falado aqui, mas não consegue os dados que vc quer por meio do orientador no Economática? Muitas vezes os docentes têm acesso gratuito à plataforma e lá tem tudo!
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #23 de 25
Espaco_Calma  
em 05/08/2020 09:15
Não sou da área mas acho melhor você simplificar seu TCC! Tá muito em cima da hora... Só o que eu acho.
; 1; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #24 de 25
Tesla  
em 06/08/2020 18:33
Quais dados você precisa? Chegou a perguntar no curso se eles não tem acesso a alguma base? Onde é o curso? 
; 2; ; 0;
0 '; 0';
Bases de dados abertas com dados de empresas - #25 de 25

14 usuários comentaram este tópico.
Clique para ir para o primeiro comentário do usuário.

Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Orientação Esportiva Ofertas e Serviços Bastter System Boletim IR Podcasts Revista Tecnologia - Ajuda Eu Assinar Ações Pesquisa Videos Livros Análise de Carteira Desconto FAQs Ofertas e Serviços Orientação Esportiva Boletim BS Podcasts IR Tecnologia Ajuda eu Revista Assinar Assinar

BastterZap