Quando fazer implantação de banco de dados em uma empresa?
comentada em 25/02/2023 08:57

Melhor colocar em banco de dados mesmo. O chato na verdade é construir a interface pra alimentar e consumir o banco. Ou seja, um formulário para adicionar novos dados e a tela do relatório.

Mas é um projeto bem simples.

O mais complexo do banco de dados é estruturar os dados, o resto é aprender e dominar a tecnologia. Basicamente você esta colocando mais complexidade no problema, mas com o mesmo fundamento

Você tem quantas linhas geradas por mês? O Excel suporta na casa de 1 milhão de linhas, mas a performance vai bater antes. Se você não conheçe nada de tecnologia eu iniciaria pelo excel, estrutura os dados la em um formato de tabela e não usa formulas

Coloca os valores parciais, cria colunas auxiliares se necessário e gera os relatórios todos com pivot table. Depois quando o excel tiver lento vai ser mais fácil migrar ele para um banco de dados

@buy_and_nemo   Sim, o Excel suporta mais de 1 milhão de linhas, mas já usei o excel com 700 linhas e algumas colunas ele já fechou sozinho. No começo ele vai resolver sim, depois vou precisar transferir para um banco de dados.

@FlyCavok    Quais ferramentas preciso aprender pra fazer esse projeto?

postado por @FlyCavok em 08/02/2023 10:35

Melhor colocar em banco de dados mesmo. O chato na verdade é construir a interface pra alimentar e consumir o banco. Ou seja, um formulário para adicionar novos dados e a tela do relatório.

Mas é um projeto bem simples.

Tem como utilizar interface do próprio Excel, pois ele pode se comunicar com o banco de dados.

Eu tenho um modelo de excel que se comunica com um MySQL que posso disponibilizar, porem é necessário conhecimento mínimo de SQL para gerenciar um banco de dados.

Sobre "implantar um banco de dados" em uma empresa isso vai além. Geralmente pequenas empresas sem um departamento de TI o próprio funcionário com conhecimento avançados desenvolve isso por conta própria, e caso seja conivente ele compartilha com outros colegas e departamentos da empresa.

Isso também pode acontecer em empresas médias e grandes, porem quando existe um departamento de TI minimamente gerenciado eles não gostam disso, pois chamamos isso de sistemas paralelos, pois geralmente a empresa já possui seus sistemas oficiais que normalmente é um ERP, mas sabemos que muitas das vezes eles não nos atende em demandas especificas e por isso estes sistemas paralelos surgem.

Muitas das vezes está fora do controle da governança de TI da empresa estes sistemas paralelos. Ou seja, geralmente nem o TI sabe da existência desses mini sistemas que querendo ou não, pertencem a empresa por estarem transitando informações da própria empresa.

Resumindo não existe essa ideia de implantar um banco de dados na empresa. Um banco de dados é implantado por softwares ou pequenas ferramentas criadas por usuários. Geralmente uma empresa grande possui uma data warehouse que é um conceito que vai além de apenas implantar um banco de dados, e essa tarefa vai sempre pertencer ao TI da empresa.

@SouBurro   Exatamente, a empresa onde faço estágio é pequena e não tem um departamento de TI.

O problema é que não tenho conhecimentos avançados, estou iniciando agora minha carreira e meus estudos na área de dados.

Mexer nisso sem muitos conhecimentos pode dar uma mesbla muito grande ou posso me aventurar e aprender no processo?

Se sim, aceita me ajudar nesse processo? hehe

Se a empresa é pequena, não acredito que seja o caso de usar um banco de dados. Muitas vezes usar um canhão para matar uma formiga traz mais problemas que soluções, pois agora não é qualquer pessoa que consegue usar o sistema, o sistema depende de alguém com conhecimento técnico mais avançado, vai demorar mais tempo para implementar, fica sujeito a erros. Se o excel está dando pau com 700 linhas, talvez seja o caso de fazer um upgrade no computador, usar SSD, mais memória ram e um processador moderno.

Agora usando excel, o processo de transferir os dados do sistema de rastreamento para a planilha passa a ser manual. O ideal é que seja automático e não dependa de um humano para atualizar. Existem scripts que podem ajudar nisso.

Tem a questão do backup, o ideal é usar o Office mais moderno, que já deixa salvo o arquivo na nuvem, então você não vai perder dados se o computador der ruim ou se ele for roubado, etc.

Se você acha que realmente deve usar um banco de dados, tem os NoSQL, como MongoDB ou DynamoDB, em que toda a infraestrutura é cuidada pela empresa que fornece o serviço (incluindo backups, o hardware, atualizações) e você só precisa adotar as boas práticas de uso e controlar o acesso. Mas é importante estudar bastante antes de sair usando, pois a existem muitos detalhes a serem considerados.

@edu.mats Se é necessário fazer upgrade para o Excel parar de dar problema, porque a mesma quantidade de dados em pyhton ou até mesmo Power Bi não dá problema com o mesmo hardware?

@Titu tu pode detalhar um pouco mais essa questão?
Quais são os dados que você tem?

Quais os filtros você precisa fazer nesses dados?
Você descreveu o sistema como "relatório de quilometragem rodada de uma frota de veículos com base em um sistema de rastreamento"
Me parece que você tem uma tabela de veículos a identificação dele com placa e renavam, por exemplo. Uma tabela de quilometragem por dia que teria um id do veículo, o dia do ano e quantos quilômetros foram rodados naquele dia. Com base no que foi informado pelo sistema de rastreiamento.
É isso que tu quer fazer?

@Titu para programação de coisas básicas eu gosto muito deste curso.

A base geral de várias coisinhas que eu brinco de vez em quando aprendi aqui.

É um curso bem rápido e fácil de fazer e aplicar com projetos pessoais.

Python for Everybody | Coursera

@Titu Se você fizer um sistema a parte e mantiver a planilha atual intacta não tem como dar mesbla. Antes de virar a chave vai testando e validando. É muito comum isso, se chama prova de conceito (Proof of concept ou POC)

O que você precisa:

1. computador com windows ou linux que você possa mexer à vontade e que possa servir de "servidor".  Aqui pode ser uma máquina virtual em alguma nuvem. Você pode investigar sobre preços e planos. Existem nuvens gratuitas para projetos minúsculos. Ou então pega um PC da empresa mesmo e diz que vai ser o servidor... é só para começar.

Se for no PC local, todo dia faça backup do banco, pode ser na mão mesmo. Investigue como fazer.

Se for na nuvem, provavelmente há ferramentas prontas para backup.

2. Um banco de dados open source que você possa usar sem ter que pagar licença. 

Você pode testar o MySQL. É mais do que suficiente para o seu problema. Ele ainda tem uma ferramenta de visualização / edição de dados que lembra lá longe o excel.

3.  Instalar o MySQL e aprender SQL

4.  Criar um mini formulário em html pra turma da empresa alimentar teu banco. 

5. Criar um serviço (API REST) que será consumido por esse formulário. Você pode usar javascript, NodeJS, express (para rotas do serviço).

6. Conectar esse formulário ao serviço. Você pode conectar diretamente ou tentar usar um framework pra te ajudar. Recomendo o ReactJs.

7. O relatório por enquanto vc pode extrair direto do banco com SQL. Depois você cria uma página html com um grid com os dados que você quer, alimentado via API.

Interessante. Parabéns pela iniciativa de tentar solucionar um problema da empresa em que trabalha. Te pediram um relatório e você foi adiante. É isso aí.

mas não tem resposta fácil.  DEPENDE.

"o problema é que quando busco dados antigos o sistema dá pau ..."   Então existe um sistema, é isso, você tem acesso ao fonte do sistema ?

"O quão complexo é criar um banco de dados para resolver esse problema?" Que problema ?

"Teria outra solução mais simples?" Simples para quem ? Muitas das vezes o simples te dá muito trabalho depois.  Procure saber quem é o usuário desse sistema, quem precisa desses dados no dia a dia, para saber se você precisará evoluir, crescer esse sistema, ou uma modelagem simples resolve .

Objetivamente sobre soluções: Uma pode ser recuperar o código fonte aplicação cuja consulta ao banco de dados está lenta e melhorar, otimizar a consulta.  Outra solução, se o banco de dados for local, somente um usuário precisará alimentar, pode fazer o download do MySQL server para uma máquina e criar uma tabela nesse banco de dados, inserindo dados de  quilometragem rodada , frota de veículos, pode deixar tudo como tabelão mesmo ou criar várias tabelas. Se vários usuários precisarem alimentar, inserir novos dados nessa tabela simultaneamente e acessando remoto, um banco de dados de acesso na nuvem, como google cloud SQL para MySQL seja mais interessante.  De novo, depende...

Antes de colocar a mão na massa para programar (Eu sei, sua mão está coçando para desenvolver algo), acho melhor ter essas informações de quem precisa dessas informações para alimentar no sistema.   Um sistema ou banco de dados sem um usuário ( e quando digo usuário é um ser Otomano que diga o que precisa e o que não precisa, ou não é necessário  que faça constar de informação no banco de dados)  é pior que a morte. 

PS: Sei que você falou que a empresa é pequena, mas suas metas podem e devem ser grandes. Não sei qual o conhecimento que você tem do produto ou que área de atuação deseja seguir, qual área de formação do seu estágio, mas em desenvolvimento de produto utilizando metodologia SCRUM, há a figura do Product Owner  ou P.O., que representa o negócio da empresa, o que deve ser feito para agregar valor ao negócio da empresa. Para não passar outros links comerciais cito um do WikiPedia para conhecimento. 

Scrum – Wikipédia, a enciclopédia livre

Go beyond !

@Abra

Vamos lá, meus dados podem ser exportados em html, xls e pdf. A melhor forma para meu problema é no formado do excel, que fica dessa forma:


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

Dessa forma que estou pensando, além de ter todo o histórico, consigo ter a média de km rodado por mês. Ou então por semana, dependendo da frequência que vou alimentando o banco.

Esse relatório também seria de grande valia pra empresa.

@arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

@FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

postado por @Titu em 08/02/2023 13:45


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

Cara... Acho difícil que alguém vá concordar com o meu ponto de vista aqui.

Tem uma cacetada de conceitos pra aprender antes de tu quer fazer um sistema que outras pessoas venham a acessar.

Meu ponto é que tu tem uma tarefa muito clara. Com um escopo muito bem definido. Tu tem como escolher um caminho que vai entregar valor progressivamente. Mas, o caminho é teu.

Vamos lá...

Esse TEU CASO ESPECÍFICO eu não sei se tu precisa de nada muuuuuito sofisticado, não.

Tu é o responsável por gerar o relatório.

Tu quem baixa os dados do outro sistema.

Por isso eu sugiro ele tu comece entendendo como funciona um banco de dados relacional. E, SQL pra extrair os relatórios.

Não importa qual ferramenta tu usar. Se tu aprender vai ver que dá pra migrar os dados de uma pra outra sem maiores problemas NESSE TEU CASO.

Com o que tu explicou até aqui eu usaria um SQLite da vida. **Só porque é um único executável e a base de dados é um único aquivo**. E, se tu pegar o arquivo XLS e mandar o Excel gravar como CSV fica ainda mais fácil de importar os dados.

Pra "instalar" o SQLite no Windows tu baixa o executável na página deles:
"Precompiled Binaries for Windows"
SQLite Download Page

Não precisa de permissão de admin nem nada. Roda na tua conta de usuário. E, o arquivo do banco de dados fica na tua conta, também.

O backup é uma questão de copiar esse arquivo pra outro computador.

A outra vantagem é te dar experiência com usar o terminal. Isso remove muito do misticismo que tem sobre o computador.

Por fim, a habilidade que vai te trazer o maior benefício, no momento, segundo o cenário que tu descreveu, é SQL.
E, pra te ajudar eu sugiro esse link aqui:

SQLZOO

postado por @Titu em 08/02/2023 13:45


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

O que você quer parece ser uma simples Pivot Table, teria que tratar essa coluna Distância para remover o "Km" e depois pivotar pela data e Veículo somando a distância

Eu concordo com o que o pessoal falou, o problema em TI nunca é fazer, é manter depois. Eu fico muito puto quando descubro algum sistema totalmente fora dos padrões da empresa so pq um dia algum dev acordou com vontade de estudar alguma coisa nova (é bom estudar, mas não no trabalho hehe)

Para o bem da empresa faça da forma mais simples e que possa ser mantido pelo pessoal que está la e aprenda SQL e banco de dados para você no seu tempo livre

Você comentou que o sistema gera um Excel por mês, se todos eles tiverem o mesmo schema (as mesmas colunas na mesma ordem) é bem tranquilo fazer o Excel ler tudo de uma vez na Aba Dados (ou até fazer uma macro VBA) que junte tudo numa planilha. Depois disso é só fazer o Pivot

Vai postando as dúvidas aqui que eu ajudo na medida do possível (tanto SQL, banco de dados ou Excel)

postado por @Abra em 08/02/2023 15:07
...
A outra vantagem é te dar experiência com usar o terminal. Isso remove muito do misticismo que tem sobre o computador.

P.S.: Se tu fizer muuuuuuuuuuita questão de uma interface gráfica da uma olhada se esse aqui te ajuda:
 
SQLiteStudio

postado por @Titu em 08/02/2023 14:00

arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

@Titu pode ser seu computador sim..nao precisa ficar ligado o tempo todo 

@buy_and_nemo   Esse deve ser o melhor caminho, vou ver até quando o excel aguenta o tranco.

@Titu

Já fiz projetos com 100 mil e até 500 mil linhas no EXCEL e ele trava, fica lento e fecha.
Nessa caso é melhor usar banco de dados mesmo.

postado por @Titu em 08/02/2023 14:00

arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

@Titu, então nós avatares não conhecemos qual o domínio da sua aplicação, que sistema é esse que vc cita que na consulta com mais de 1 mês nos filtros de busca, fica lento.. Quando perguntei se você tem acesso aos fontes do sistema, era pra saber se você conhece Quem ou a empresa que desenvolveu essa aplicação, e se tem documentação,  se tem acesso ao código-fonte da mesma ( foi desenvolvido em Java, C#, Delphi,...) . Mas supondo que você não tenha acesso aos fontes, para otimizar a consulta dos dados, a proposta do FlyCavok é interessante, e o servidor de Banco pode ficar local, na sua máquina. Mas lembre, converse com seu usuário, procure ter um usuário estabelecido para você saber que direção seguir no futuro, na hora de manter ou evoluir o banco de dados/ aplicação. 

Banco de dados a criação em si é bem simples. Agora, gerenciar banco de dados, fazer join, modelagens e coisas do tipo são mais complexas. O Excel morreu, hoje qualquer empresa de média a grande, utilizar o Excel que não seja somente para visualização, corre sérios riscos de ficar para trás. Excel não serve para armazenar nada, quando você passa de 100 mil linhas já começa a crashar. E dependendo do volume de dados simplismente se torna inútil o uso do Excel. O que você pode fazer é usar o excel e o access no caso, vba + access, pois seria algo "mais profissional". E se for pegar alguma coisa de sql server, sugiro todos menos o microsoft sql server, além de não ter um monte de functions dos outros BDs, tudo nele é diferente dos outros, simplesmente horrível trabalhar com ele. Use mysql, PostgreSQL...

 @buy_and_nemo @SouBurro @edu.mats @Abra @arufielli @Cevert @FlyCavok

Fiz uma solução temporária de Excel, e estou batendo cabeça pra colocar um banco com PostgreSQL com a ajuda de um amigo.

Nunca mexi com banco de dados e estou aprendendo na marra, mas fiquei pensando se não vale a pena fazer algum curso.

O problema é que sou o tipo de pessoa que quando vejo um curso já quero me matricular. Atualmente estou fazendo um curso gratuito de Power Bi e Python focado em análise de dados, ambos vão falar sobre SQL mais pra frente no curso, mas as aulas sobre isso ainda n foram disponibilizadas e vai demorar.

Vocês sugerem eu investir logo em um curso focado em sql ou espero a aula dos outros cursos e vou aprendendo na marra por enquanto?

Não quero ficar lotado de cursos e ficar me torturando por não conseguir dar conta dessa demanda tão alta e impossível que eu criei.

No youtube, tem o canal "curso em Vídeo" que tem um curso sobre mysql.
O curso começa do zero mesmo.
A didática  do professor é muito boa e ele vai destrinchando conceitos bem do básico mesmo (para quem não sabe nada)
Por isso, alguns podem achar as aulas meio lentas...

@Titu esse curso de PowerBi aí é aberto? E remoto? Se sim pode me passar no privado?

@Charlito   Enviei no seu pv

@Titu, Estudar é sempre proveitoso. Somente SQL não vai produzir toda a solução que você precisa, é a parte de consulta ao banco de dados. Você vai precisar uma interface gráfica para manipular esses dados, mas um passo de cada vez. Mas alimentar, inserir as informações em um banco de dados já é um começo. bora lá.

Qual a dificuldade na instalação do PostgreSQL que vc citou , alguma tela de erro ?

Qual tutorial você seguiu para instalar ? encontrei um que pode te ajudar:
PostgreSQL Download: Como instalar e configurar o PostgreSQL
e para o aprendizado de SQL, repare. Não sei se vc sabe a diferença, levantando em conta que disse não saber muito sobre o assunto. SQL é uma linguagem utilizada em Banco de dados. Seja qual banco SGBD vc escolher (PostGreSQL, MySQL, SQLServer, Oracle,...) todos esses Sistemas Gerenciadores de Banco de Dados utilizam o SQL como linguagaem de consulta, alguns fabricantes implementaram pequenas customizações para suas ferramentas, com pequenas diferenças e recursos a mais, mas em geral um SQL escrito para um banco vai servir em outro.

Então, já conheceu um pouco sobre a sintaxe da linguagem SQL ? Acho que basicamente no dia a dia vc vai utilizar poucos comandos como SELECT, INSERT, UPDATE , além dos comandos de criação da sua base de dados.

Se inglês não for um problema, caso ainda não tenha contato e para se familiarizar com a sintaxe, segue, entre vários disponíveis na internet, esse abaixo:

https://www.w3schools.com/sql/sql_intro.asp
por fim, vc pareceu um pouco ansioso. respira.

vc citou  "ficar me torturando por não conseguir dar conta dessa demanda tão alta e impossível que eu criei"
lembra quando cheguei a te perguntar sobre quem pediu esses dados de kilometragem, qual usuário precisa disso, chegou a identificar quem da empresa precisa desses dados ?  

Quem demandou o relatório pra vc, surgiu da sua cabeça ? você que criou essa demanda, sem confirmar como o principal usuário da informação se de fato ela é necessária ? pode detalhar um pouco mais o cenário da demanda pra gente poder entender melhor como ajudar vc na solução ?  Pois sistema sem usuário que: se importe com ele; que peça melhorias; que de fato utilize os dados  , é para mim, pior que a morte.

@arufielli   Sim, estou ansioso, desculpa kkkkkk.

A empresa é de locadora de veículos, e a gente precisa de um controle da quilometragem total dos veículos, pois tem um limite de quilômetro rodado por mês e é importante para garantir que as revisões sejam feitas dentro do prazo para não perdermos a aaaaaagarantia (por exemplo, a primeira revisão deve ser feita com 10.000km).

Nós temos um rastreador, mas a qualidade não é boa, ele indica que o carro rodou 300.000km  e o carro na verdade tem apenas 37.000km.

Para solucionar isso, creio que pegar a quilometragem que o carro rodou em uma semana não tenha tanta discrepância da quilometragem real. Não tenho 100% certeza, mas quero testar essa hipótese, pois carros novos o sistema de rastreamento mostra uma quilometragem parecida da real, o problema é quando o tempo que o carro rodou é muito grande. 

Então, o primeiro passo é criar um banco de dados para ter uma coluna que identifica o carro pela placa, uma coluna da quilometragem total, e as demais colunas serão as quilometragens atualizadas toda semana.

Com isso, posso acessar os dados e fazer algumas análises (saber se o tempo que o carro rodou está muito elevado e verificar se ele está emprestando o carro, por exemplo) e também repassar as informações para o setor operacional para entrar em contato com o motorista quando estiver perto da manutenção preventiva (talvez gerar alertas de forma automática, mas isso seria melhoria futura).

Resumindo, preciso disso para:
- Verificar se o carro está sendo emprestado.
- Garantir que as manutenções preventivas sejam feitas no período certo.
- Ter controle sobre a quilometragem total e a rodada em um mês.

@arufielli

Consegui baixar o Postgre, fiz uma tabela e importei um arquivo csv para eu ir me acostumando com a ferramenta. Por enquanto estou rodando o servidor na minha máquina.

Fiz tudo pelo chat gpt e alguns tutoriais básicos no youtube.

Estava pensando em fazer um curso por uma paranóia que eu tenho de estar perdendo alguma feature espetacular que iria melhorar a base de dados. Enfim, fazer um curso pago pra aprender a ferramenta de forma mais aprofundada.