Quando fazer implantação de banco de dados em uma empresa?
comentada em 25/02/2023 08:57

Melhor colocar em banco de dados mesmo. O chato na verdade é construir a interface pra alimentar e consumir o banco. Ou seja, um formulário para adicionar novos dados e a tela do relatório.

Mas é um projeto bem simples.

O mais complexo do banco de dados é estruturar os dados, o resto é aprender e dominar a tecnologia. Basicamente você esta colocando mais complexidade no problema, mas com o mesmo fundamento

Você tem quantas linhas geradas por mês? O Excel suporta na casa de 1 milhão de linhas, mas a performance vai bater antes. Se você não conheçe nada de tecnologia eu iniciaria pelo excel, estrutura os dados la em um formato de tabela e não usa formulas

Coloca os valores parciais, cria colunas auxiliares se necessário e gera os relatórios todos com pivot table. Depois quando o excel tiver lento vai ser mais fácil migrar ele para um banco de dados

@buy_and_nemo   Sim, o Excel suporta mais de 1 milhão de linhas, mas já usei o excel com 700 linhas e algumas colunas ele já fechou sozinho. No começo ele vai resolver sim, depois vou precisar transferir para um banco de dados.

@FlyCavok    Quais ferramentas preciso aprender pra fazer esse projeto?

postado por @FlyCavok em 08/02/2023 10:35

Melhor colocar em banco de dados mesmo. O chato na verdade é construir a interface pra alimentar e consumir o banco. Ou seja, um formulário para adicionar novos dados e a tela do relatório.

Mas é um projeto bem simples.

Tem como utilizar interface do próprio Excel, pois ele pode se comunicar com o banco de dados.

Eu tenho um modelo de excel que se comunica com um MySQL que posso disponibilizar, porem é necessário conhecimento mínimo de SQL para gerenciar um banco de dados.

Sobre "implantar um banco de dados" em uma empresa isso vai além. Geralmente pequenas empresas sem um departamento de TI o próprio funcionário com conhecimento avançados desenvolve isso por conta própria, e caso seja conivente ele compartilha com outros colegas e departamentos da empresa.

Isso também pode acontecer em empresas médias e grandes, porem quando existe um departamento de TI minimamente gerenciado eles não gostam disso, pois chamamos isso de sistemas paralelos, pois geralmente a empresa já possui seus sistemas oficiais que normalmente é um ERP, mas sabemos que muitas das vezes eles não nos atende em demandas especificas e por isso estes sistemas paralelos surgem.

Muitas das vezes está fora do controle da governança de TI da empresa estes sistemas paralelos. Ou seja, geralmente nem o TI sabe da existência desses mini sistemas que querendo ou não, pertencem a empresa por estarem transitando informações da própria empresa.

Resumindo não existe essa ideia de implantar um banco de dados na empresa. Um banco de dados é implantado por softwares ou pequenas ferramentas criadas por usuários. Geralmente uma empresa grande possui uma data warehouse que é um conceito que vai além de apenas implantar um banco de dados, e essa tarefa vai sempre pertencer ao TI da empresa.

@SouBurro   Exatamente, a empresa onde faço estágio é pequena e não tem um departamento de TI.

O problema é que não tenho conhecimentos avançados, estou iniciando agora minha carreira e meus estudos na área de dados.

Mexer nisso sem muitos conhecimentos pode dar uma mesbla muito grande ou posso me aventurar e aprender no processo?

Se sim, aceita me ajudar nesse processo? hehe

Se a empresa é pequena, não acredito que seja o caso de usar um banco de dados. Muitas vezes usar um canhão para matar uma formiga traz mais problemas que soluções, pois agora não é qualquer pessoa que consegue usar o sistema, o sistema depende de alguém com conhecimento técnico mais avançado, vai demorar mais tempo para implementar, fica sujeito a erros. Se o excel está dando pau com 700 linhas, talvez seja o caso de fazer um upgrade no computador, usar SSD, mais memória ram e um processador moderno.

Agora usando excel, o processo de transferir os dados do sistema de rastreamento para a planilha passa a ser manual. O ideal é que seja automático e não dependa de um humano para atualizar. Existem scripts que podem ajudar nisso.

Tem a questão do backup, o ideal é usar o Office mais moderno, que já deixa salvo o arquivo na nuvem, então você não vai perder dados se o computador der ruim ou se ele for roubado, etc.

Se você acha que realmente deve usar um banco de dados, tem os NoSQL, como MongoDB ou DynamoDB, em que toda a infraestrutura é cuidada pela empresa que fornece o serviço (incluindo backups, o hardware, atualizações) e você só precisa adotar as boas práticas de uso e controlar o acesso. Mas é importante estudar bastante antes de sair usando, pois a existem muitos detalhes a serem considerados.

@edu.mats Se é necessário fazer upgrade para o Excel parar de dar problema, porque a mesma quantidade de dados em pyhton ou até mesmo Power Bi não dá problema com o mesmo hardware?

@Titu tu pode detalhar um pouco mais essa questão?
Quais são os dados que você tem?

Quais os filtros você precisa fazer nesses dados?
Você descreveu o sistema como "relatório de quilometragem rodada de uma frota de veículos com base em um sistema de rastreamento"
Me parece que você tem uma tabela de veículos a identificação dele com placa e renavam, por exemplo. Uma tabela de quilometragem por dia que teria um id do veículo, o dia do ano e quantos quilômetros foram rodados naquele dia. Com base no que foi informado pelo sistema de rastreiamento.
É isso que tu quer fazer?

@Titu para programação de coisas básicas eu gosto muito deste curso.

A base geral de várias coisinhas que eu brinco de vez em quando aprendi aqui.

É um curso bem rápido e fácil de fazer e aplicar com projetos pessoais.

Python for Everybody | Coursera

@Titu Se você fizer um sistema a parte e mantiver a planilha atual intacta não tem como dar mesbla. Antes de virar a chave vai testando e validando. É muito comum isso, se chama prova de conceito (Proof of concept ou POC)

O que você precisa:

1. computador com windows ou linux que você possa mexer à vontade e que possa servir de "servidor".  Aqui pode ser uma máquina virtual em alguma nuvem. Você pode investigar sobre preços e planos. Existem nuvens gratuitas para projetos minúsculos. Ou então pega um PC da empresa mesmo e diz que vai ser o servidor... é só para começar.

Se for no PC local, todo dia faça backup do banco, pode ser na mão mesmo. Investigue como fazer.

Se for na nuvem, provavelmente há ferramentas prontas para backup.

2. Um banco de dados open source que você possa usar sem ter que pagar licença. 

Você pode testar o MySQL. É mais do que suficiente para o seu problema. Ele ainda tem uma ferramenta de visualização / edição de dados que lembra lá longe o excel.

3.  Instalar o MySQL e aprender SQL

4.  Criar um mini formulário em html pra turma da empresa alimentar teu banco. 

5. Criar um serviço (API REST) que será consumido por esse formulário. Você pode usar javascript, NodeJS, express (para rotas do serviço).

6. Conectar esse formulário ao serviço. Você pode conectar diretamente ou tentar usar um framework pra te ajudar. Recomendo o ReactJs.

7. O relatório por enquanto vc pode extrair direto do banco com SQL. Depois você cria uma página html com um grid com os dados que você quer, alimentado via API.

Interessante. Parabéns pela iniciativa de tentar solucionar um problema da empresa em que trabalha. Te pediram um relatório e você foi adiante. É isso aí.

mas não tem resposta fácil.  DEPENDE.

"o problema é que quando busco dados antigos o sistema dá pau ..."   Então existe um sistema, é isso, você tem acesso ao fonte do sistema ?

"O quão complexo é criar um banco de dados para resolver esse problema?" Que problema ?

"Teria outra solução mais simples?" Simples para quem ? Muitas das vezes o simples te dá muito trabalho depois.  Procure saber quem é o usuário desse sistema, quem precisa desses dados no dia a dia, para saber se você precisará evoluir, crescer esse sistema, ou uma modelagem simples resolve .

Objetivamente sobre soluções: Uma pode ser recuperar o código fonte aplicação cuja consulta ao banco de dados está lenta e melhorar, otimizar a consulta.  Outra solução, se o banco de dados for local, somente um usuário precisará alimentar, pode fazer o download do MySQL server para uma máquina e criar uma tabela nesse banco de dados, inserindo dados de  quilometragem rodada , frota de veículos, pode deixar tudo como tabelão mesmo ou criar várias tabelas. Se vários usuários precisarem alimentar, inserir novos dados nessa tabela simultaneamente e acessando remoto, um banco de dados de acesso na nuvem, como google cloud SQL para MySQL seja mais interessante.  De novo, depende...

Antes de colocar a mão na massa para programar (Eu sei, sua mão está coçando para desenvolver algo), acho melhor ter essas informações de quem precisa dessas informações para alimentar no sistema.   Um sistema ou banco de dados sem um usuário ( e quando digo usuário é um ser Otomano que diga o que precisa e o que não precisa, ou não é necessário  que faça constar de informação no banco de dados)  é pior que a morte. 

PS: Sei que você falou que a empresa é pequena, mas suas metas podem e devem ser grandes. Não sei qual o conhecimento que você tem do produto ou que área de atuação deseja seguir, qual área de formação do seu estágio, mas em desenvolvimento de produto utilizando metodologia SCRUM, há a figura do Product Owner  ou P.O., que representa o negócio da empresa, o que deve ser feito para agregar valor ao negócio da empresa. Para não passar outros links comerciais cito um do WikiPedia para conhecimento. 

Scrum – Wikipédia, a enciclopédia livre

Go beyond !

@Abra

Vamos lá, meus dados podem ser exportados em html, xls e pdf. A melhor forma para meu problema é no formado do excel, que fica dessa forma:


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

Dessa forma que estou pensando, além de ter todo o histórico, consigo ter a média de km rodado por mês. Ou então por semana, dependendo da frequência que vou alimentando o banco.

Esse relatório também seria de grande valia pra empresa.

@arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

@FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

postado por @Titu em 08/02/2023 13:45


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

Cara... Acho difícil que alguém vá concordar com o meu ponto de vista aqui.

Tem uma cacetada de conceitos pra aprender antes de tu quer fazer um sistema que outras pessoas venham a acessar.

Meu ponto é que tu tem uma tarefa muito clara. Com um escopo muito bem definido. Tu tem como escolher um caminho que vai entregar valor progressivamente. Mas, o caminho é teu.

Vamos lá...

Esse TEU CASO ESPECÍFICO eu não sei se tu precisa de nada muuuuuito sofisticado, não.

Tu é o responsável por gerar o relatório.

Tu quem baixa os dados do outro sistema.

Por isso eu sugiro ele tu comece entendendo como funciona um banco de dados relacional. E, SQL pra extrair os relatórios.

Não importa qual ferramenta tu usar. Se tu aprender vai ver que dá pra migrar os dados de uma pra outra sem maiores problemas NESSE TEU CASO.

Com o que tu explicou até aqui eu usaria um SQLite da vida. **Só porque é um único executável e a base de dados é um único aquivo**. E, se tu pegar o arquivo XLS e mandar o Excel gravar como CSV fica ainda mais fácil de importar os dados.

Pra "instalar" o SQLite no Windows tu baixa o executável na página deles:
"Precompiled Binaries for Windows"
SQLite Download Page

Não precisa de permissão de admin nem nada. Roda na tua conta de usuário. E, o arquivo do banco de dados fica na tua conta, também.

O backup é uma questão de copiar esse arquivo pra outro computador.

A outra vantagem é te dar experiência com usar o terminal. Isso remove muito do misticismo que tem sobre o computador.

Por fim, a habilidade que vai te trazer o maior benefício, no momento, segundo o cenário que tu descreveu, é SQL.
E, pra te ajudar eu sugiro esse link aqui:

SQLZOO

postado por @Titu em 08/02/2023 13:45


Puxei desde o dia 07-01 até 07-02, e ele informa a quilometragem rodada nesse período. Mas eu quero a quilometragem total, tem carro que já rodou mais de um ano por exemplo, só que o sistema não consegue puxar todo esse histórico.

Minha ideia é pegar as distancias rodadas todo mês ou toda semana e ir alimentando um banco de dados, pra eu conseguir puxar todo o histórico.

É bem simples, colocar o veículo e ir atualizando a quilometragem todo mês,assim:

| Veículo| Mês_1 | Mês_2 | etc

O que você quer parece ser uma simples Pivot Table, teria que tratar essa coluna Distância para remover o "Km" e depois pivotar pela data e Veículo somando a distância

Eu concordo com o que o pessoal falou, o problema em TI nunca é fazer, é manter depois. Eu fico muito puto quando descubro algum sistema totalmente fora dos padrões da empresa so pq um dia algum dev acordou com vontade de estudar alguma coisa nova (é bom estudar, mas não no trabalho hehe)

Para o bem da empresa faça da forma mais simples e que possa ser mantido pelo pessoal que está la e aprenda SQL e banco de dados para você no seu tempo livre

Você comentou que o sistema gera um Excel por mês, se todos eles tiverem o mesmo schema (as mesmas colunas na mesma ordem) é bem tranquilo fazer o Excel ler tudo de uma vez na Aba Dados (ou até fazer uma macro VBA) que junte tudo numa planilha. Depois disso é só fazer o Pivot

Vai postando as dúvidas aqui que eu ajudo na medida do possível (tanto SQL, banco de dados ou Excel)

postado por @Abra em 08/02/2023 15:07
...
A outra vantagem é te dar experiência com usar o terminal. Isso remove muito do misticismo que tem sobre o computador.

P.S.: Se tu fizer muuuuuuuuuuita questão de uma interface gráfica da uma olhada se esse aqui te ajuda:
 
SQLiteStudio

postado por @Titu em 08/02/2023 14:00

arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

@Titu pode ser seu computador sim..nao precisa ficar ligado o tempo todo 

@buy_and_nemo   Esse deve ser o melhor caminho, vou ver até quando o excel aguenta o tranco.

@Titu

Já fiz projetos com 100 mil e até 500 mil linhas no EXCEL e ele trava, fica lento e fecha.
Nessa caso é melhor usar banco de dados mesmo.

postado por @Titu em 08/02/2023 14:00

arufielli   Como assim? É plausível eu pedir acesso para a fonte de dados do rastreador? Teria como eu ter acesso apenas como visualizador por exemplo?

FlyCavok   Por enquanto, apenas eu acessaria e alimentaria o banco.

O sistema é na web, seria legal se fosse automático mas não vejo tanto problema em eu baixar o relatório e só clicar em um botão para ele alimentar com todos os dados.

O servidor do SQL pode ser meu próprio computador? Ele precisa ficar ligado o tempo todo?

@Titu, então nós avatares não conhecemos qual o domínio da sua aplicação, que sistema é esse que vc cita que na consulta com mais de 1 mês nos filtros de busca, fica lento.. Quando perguntei se você tem acesso aos fontes do sistema, era pra saber se você conhece Quem ou a empresa que desenvolveu essa aplicação, e se tem documentação,  se tem acesso ao código-fonte da mesma ( foi desenvolvido em Java, C#, Delphi,...) . Mas supondo que você não tenha acesso aos fontes, para otimizar a consulta dos dados, a proposta do FlyCavok é interessante, e o servidor de Banco pode ficar local, na sua máquina. Mas lembre, converse com seu usuário, procure ter um usuário estabelecido para você saber que direção seguir no futuro, na hora de manter ou evoluir o banco de dados/ aplicação. 

Banco de dados a criação em si é bem simples. Agora, gerenciar banco de dados, fazer join, modelagens e coisas do tipo são mais complexas. O Excel morreu, hoje qualquer empresa de média a grande, utilizar o Excel que não seja somente para visualização, corre sérios riscos de ficar para trás. Excel não serve para armazenar nada, quando você passa de 100 mil linhas já começa a crashar. E dependendo do volume de dados simplismente se torna inútil o uso do Excel. O que você pode fazer é usar o excel e o access no caso, vba + access, pois seria algo "mais profissional". E se for pegar alguma coisa de sql server, sugiro todos menos o microsoft sql server, além de não ter um monte de functions dos outros BDs, tudo nele é diferente dos outros, simplesmente horrível trabalhar com ele. Use mysql, PostgreSQL...

 @buy_and_nemo @SouBurro @edu.mats @Abra @arufielli @Cevert @FlyCavok

Fiz uma solução temporária de Excel, e estou batendo cabeça pra colocar um banco com PostgreSQL com a ajuda de um amigo.

Nunca mexi com banco de dados e estou aprendendo na marra, mas fiquei pensando se não vale a pena fazer algum curso.

O problema é que sou o tipo de pessoa que quando vejo um curso já quero me matricular. Atualmente estou fazendo um curso gratuito de Power Bi e Python focado em análise de dados, ambos vão falar sobre SQL mais pra frente no curso, mas as aulas sobre isso ainda n foram disponibilizadas e vai demorar.

Vocês sugerem eu investir logo em um curso focado em sql ou espero a aula dos outros cursos e vou aprendendo na marra por enquanto?

Não quero ficar lotado de cursos e ficar me torturando por não conseguir dar conta dessa demanda tão alta e impossível que eu criei.

No youtube, tem o canal "curso em Vídeo" que tem um curso sobre mysql.
O curso começa do zero mesmo.
A didática  do professor é muito boa e ele vai destrinchando conceitos bem do básico mesmo (para quem não sabe nada)
Por isso, alguns podem achar as aulas meio lentas...

@Titu esse curso de PowerBi aí é aberto? E remoto? Se sim pode me passar no privado?

@Charlito   Enviei no seu pv

@Titu, Estudar é sempre proveitoso. Somente SQL não vai produzir toda a solução que você precisa, é a parte de consulta ao banco de dados. Você vai precisar uma interface gráfica para manipular esses dados, mas um passo de cada vez. Mas alimentar, inserir as informações em um banco de dados já é um começo. bora lá.

Qual a dificuldade na instalação do PostgreSQL que vc citou , alguma tela de erro ?

Qual tutorial você seguiu para instalar ? encontrei um que pode te ajudar:
PostgreSQL Download: Como instalar e configurar o PostgreSQL
e para o aprendizado de SQL, repare. Não sei se vc sabe a diferença, levantando em conta que disse não saber muito sobre o assunto. SQL é uma linguagem utilizada em Banco de dados. Seja qual banco SGBD vc escolher (PostGreSQL, MySQL, SQLServer, Oracle,...) todos esses Sistemas Gerenciadores de Banco de Dados utilizam o SQL como linguagaem de consulta, alguns fabricantes implementaram pequenas customizações para suas ferramentas, com pequenas diferenças e recursos a mais, mas em geral um SQL escrito para um banco vai servir em outro.

Então, já conheceu um pouco sobre a sintaxe da linguagem SQL ? Acho que basicamente no dia a dia vc vai utilizar poucos comandos como SELECT, INSERT, UPDATE , além dos comandos de criação da sua base de dados.

Se inglês não for um problema, caso ainda não tenha contato e para se familiarizar com a sintaxe, segue, entre vários disponíveis na internet, esse abaixo:

https://www.w3schools.com/sql/sql_intro.asp
por fim, vc pareceu um pouco ansioso. respira.

vc citou  "ficar me torturando por não conseguir dar conta dessa demanda tão alta e impossível que eu criei"
lembra quando cheguei a te perguntar sobre quem pediu esses dados de kilometragem, qual usuário precisa disso, chegou a identificar quem da empresa precisa desses dados ?  

Quem demandou o relatório pra vc, surgiu da sua cabeça ? você que criou essa demanda, sem confirmar como o principal usuário da informação se de fato ela é necessária ? pode detalhar um pouco mais o cenário da demanda pra gente poder entender melhor como ajudar vc na solução ?  Pois sistema sem usuário que: se importe com ele; que peça melhorias; que de fato utilize os dados  , é para mim, pior que a morte.

@arufielli   Sim, estou ansioso, desculpa kkkkkk.

A empresa é de locadora de veículos, e a gente precisa de um controle da quilometragem total dos veículos, pois tem um limite de quilômetro rodado por mês e é importante para garantir que as revisões sejam feitas dentro do prazo para não perdermos a aaaaaagarantia (por exemplo, a primeira revisão deve ser feita com 10.000km).

Nós temos um rastreador, mas a qualidade não é boa, ele indica que o carro rodou 300.000km  e o carro na verdade tem apenas 37.000km.

Para solucionar isso, creio que pegar a quilometragem que o carro rodou em uma semana não tenha tanta discrepância da quilometragem real. Não tenho 100% certeza, mas quero testar essa hipótese, pois carros novos o sistema de rastreamento mostra uma quilometragem parecida da real, o problema é quando o tempo que o carro rodou é muito grande. 

Então, o primeiro passo é criar um banco de dados para ter uma coluna que identifica o carro pela placa, uma coluna da quilometragem total, e as demais colunas serão as quilometragens atualizadas toda semana.

Com isso, posso acessar os dados e fazer algumas análises (saber se o tempo que o carro rodou está muito elevado e verificar se ele está emprestando o carro, por exemplo) e também repassar as informações para o setor operacional para entrar em contato com o motorista quando estiver perto da manutenção preventiva (talvez gerar alertas de forma automática, mas isso seria melhoria futura).

Resumindo, preciso disso para:
- Verificar se o carro está sendo emprestado.
- Garantir que as manutenções preventivas sejam feitas no período certo.
- Ter controle sobre a quilometragem total e a rodada em um mês.

@arufielli

Consegui baixar o Postgre, fiz uma tabela e importei um arquivo csv para eu ir me acostumando com a ferramenta. Por enquanto estou rodando o servidor na minha máquina.

Fiz tudo pelo chat gpt e alguns tutoriais básicos no youtube.

Estava pensando em fazer um curso por uma paranóia que eu tenho de estar perdendo alguma feature espetacular que iria melhorar a base de dados. Enfim, fazer um curso pago pra aprender a ferramenta de forma mais aprofundada.

Se é conveniente fazer um curso pago, a empresa não cobriria?

Se você já instalou e já tá se virando, não precisa se aprofundar pra usar.  Vai usando. À medida que você for tombando com os erros, vai pesquisando e aprendendo..se a coisa ficar feia, aí você para pra estudar mais profundamente.

Desconfio que você vá montar o sistema todo só assim, pq ele é realmente simples.

Mas me diz aí. Não entendi. O rastreador funciona bem até uma km X e depois disso ele pira o cabeção? Ou ele é ruim desde o começo?

De onde você obtém os dados ? Só do rastreador ou vc vai coletar lá no odômetro do veículo?

Monte a primeira versão na marra aí... Depois o ideal é a empresa te manter nesse projeto e você partir pra fase 2, que é automatizar a coleta da km.

Se você conseguir automatizar ou facilitar muito isso, daí todos os relatórios podem sair facilmente, especialmente se você conectar o powerbi ao banco. 

Da pra você fazer um relatório com os carros que devem ter manutenção agora, manutenção em 7 dias e manutenção no mês. Já pensou ?

Muito legal. Se eu sou dono dessa empresa aí, já te promovo pra não perder o funcionário. 

postado por @Titu em 14/02/2023 16:18

arufielli   Sim, estou ansioso, desculpa kkkkkk.

A empresa é de locadora de veículos, e a gente precisa de um controle da quilometragem total dos veículos, pois tem um limite de quilômetro rodado por mês e é importante para garantir que as revisões sejam feitas dentro do prazo para não perdermos a aaaaaaaagarantia (por exemplo, a primeira revisão deve ser feita com 10.000km).

Nós temos um rastreador, mas a qualidade não é boa, ele indica que o carro rodou 300.000km  e o carro na verdade tem apenas 37.000km.

Para solucionar isso, creio que pegar a quilometragem que o carro rodou em uma semana não tenha tanta discrepância da quilometragem real. Não tenho 100% certeza, mas quero testar essa hipótese, pois carros novos o sistema de rastreamento mostra uma quilometragem parecida da real, o problema é quando o tempo que o carro rodou é muito grande. 

Então, o primeiro passo é criar um banco de dados para ter uma coluna que identifica o carro pela placa, uma coluna da quilometragem total, e as demais colunas serão as quilometragens atualizadas toda semana.

Com isso, posso acessar os dados e fazer algumas análises (saber se o tempo que o carro rodou está muito elevado e verificar se ele está emprestando o carro, por exemplo) e também repassar as informações para o setor operacional para entrar em contato com o motorista quando estiver perto da manutenção preventiva (talvez gerar alertas de forma automática, mas isso seria melhoria futura).

Resumindo, preciso disso para:
- Verificar se o carro está sendo emprestado.
- Garantir que as manutenções preventivas sejam feitas no período certo.
- Ter controle sobre a quilometragem total e a rodada em um mês.

Fala, tamo junto.  Pedir desculpa não. Todos estamos aprendendo aqui.

Então, bacana a descrição das necessidades do projeto. Pelo que citou, acho que uma plataforma de análise de dados vá te ajudar. Como vc falou do powerBI q já tem instalado na empresa, blz.  Sem querer te passar muitas informações ( agora eu q ansiei aqui) para uma outra linguagem python, existe uma ferramenta, framework chamado Jupyter Notebook. É multiplataforma, funciona tanto em Linux ( meu caso de utilização ) , como em RuWinsows e Maçã. Vc pode importar bibliotecas como pandas, numpy , ótimas para análise de dados. Tem também pessoal que usa linguagem R para análise de dados. Mas enfim, só citei a existência dessas ferramentas pois não sei o quanto vc pesquisou e aumentar seu leque de opções. 

Então, essa questão de colunas no banco são os atributos ( campos) de uma tabela. Veja a questão do SQL que te falei, vai te ajudar a entender. Qualquer dúvida fala ae.  Procure no Google sobre modelagem carro veículo locadora para ver. Exemplo de como relacionar as características ( atributos) do campo de uma tabela.

Tá no caminho certo, é isso aí.

postado por @Titu em 14/02/2023 16:37

arufielli

Consegui baixar o Postgre, fiz uma tabela e importei um arquivo csv para eu ir me acostumando com a ferramenta. Por enquanto estou rodando o servidor na minha máquina.

Fiz tudo pelo chat gpt e alguns tutoriais básicos no youtube.

Estava pensando em fazer um curso por uma paranóia que eu tenho de estar perdendo alguma feature espetacular que iria melhorar a base de dados. Enfim, fazer um curso pago pra aprender a ferramenta de forma mais aprofundada.

Blz, que bom que já tá desenrolando no Postgres.  E toda forma de adquirir conhecimento é válido, se puder faça cursos bons sobre o assunto. Não sei se há FAQ sobre escolha de cursos, mas em paralelo ao FAQ de como escolher um bom médico, com as devidas proporções se assemelham. Veja quem do seu círculo profissional fez algo parecido, se espelhe em alguém que desenvolve um bom trabalho na Área, procure descobrir como ele aprendeu, consulte quem concluiu o curso e site da empresa, reputação do curso no mercado.  E se vc pretende seguir carreira na área de TI, um bom curso vai te ajudar, de preferência se tiver certificação. ( No caso de Postgres não sei dizer os cursos ou empresas certificadas, tem q pesquisar). E como o Charlito falou, vê se a empresa não te paga um curso. É interesse da empresa também. Vc vai usar o conhecimento para benefício da entidade .

E na minha humilde burrice um curso de Python para ciência de dados ( ou Python for Data Science) pode te ajudar a atingir o que precisa. Mas não se prenda à isso. Existem várias linguagens e frameworks para utilização em análise de dados. Veja o que ou vc está habituado, já ouviu falar ou se sente melhor desenvolvendo.  Há um leque grande de opções. 

Não sei se mais atrapalhei que ajudei, foi mal. Kkk

Desejo sucesso para você trilhar o seu caminho

Qualquer coisa, posta seus percalços pra galera te incentivar aqui.

@FlyCavok

Creio que o problema é quando o sinal do gps fica fraco. Quando acontece isso, o rastreador busca alguma torre de transmissão e dá um pico em outro lugar completamente diferente e depois volta. É algo esquisito que acontece as vezes.

@arufielli @FlyCavok   Obrigado pelo apoio!

@Charlito    É um bom ponto, não tinha pensado nisso

Certo, daí ele acumula essa medida errada com as outras ou te fornece "linhas" de medida ?

Te pergunto isso pq se ele fornece várias medidas e é você quem soma elas para obter a quilometragem, então você pode construir um pequeno algoritmo para resolver essa discrepância.

Como sugestão eu diria pra fazer o seguinte:

1. Inicie calculando a média acumulada. A primeira medida do sensor é a média. Estou assumindo que o sensor vai ser razoável ao ligar.

Average = NewValue

2. Para cada valor medido, compare-o com a média acumulada.

Se ele for X vezes maior, X sendo um número que você vai arbitrar na base de olhar o problema e ver se dá pra chutar um número legal em que passou de X vc sabe que tá errado. 

Daí você descarta a medida.

3. Caso não descarte, você incorpora ela à média fazendo:

Average += (NewValue - Average) / NewSampleCount

Por ex, vc mediu 50 vezes, na 51a a conta é average = (valor medido - average)/51

Com isso provavelmente você irá descartar valores absurdos e limpar teus dados.

E aí você vai poder usar esse valor do sensor pra compor tua base e automatizar teu problema.

Corrigindo:

 average += (valor medido - average)/51

ou

 average = average + (valor medido - average)/51

desculpe aí pelo bug  hahaha

postado por @Titu em 14/02/2023 13:06

 buy_and_nemo SouBurro edu.mats Abra arufielli Cevert FlyCavok

Fiz uma solução temporária de Excel, e estou batendo cabeça pra colocar um banco com PostgreSQL com a ajuda de um amigo.

Nunca mexi com banco de dados e estou aprendendo na marra, mas fiquei pensando se não vale a pena fazer algum curso.

O problema é que sou o tipo de pessoa que quando vejo um curso já quero me matricular. Atualmente estou fazendo um curso gratuito de Power Bi e Python focado em análise de dados, ambos vão falar sobre SQL mais pra frente no curso, mas as aulas sobre isso ainda n foram disponibilizadas e vai demorar.

Vocês sugerem eu investir logo em um curso focado em sql ou espero a aula dos outros cursos e vou aprendendo na marra por enquanto?

Não quero ficar lotado de cursos e ficar me torturando por não conseguir dar conta dessa demanda tão alta e impossível que eu criei.

Qualquer curso que entra com a palavra 'análise de dados' e vem com Python e Power BI, eu já coloco a mão no bolso para ver se roubaram minha carteira, parafraseando o Bastter aqui. Mas eu realmente detesto power BI porque é uma ferramenta limitada, sem contar que o uso dela envolve licença. Você pode perguntar, mas qual é o problema disso, Cevert? O problema seria OS PROBLEMAS. Vamos lá...
 
Empresa gigante pode não renovar a licença do BI, qualquer tipo de dev para fora da sua área já fica uma porcaria, a minha empresa por exemplo, simplesmente não renovou a licença do BI e preferiu fazer a cagada de utilizar o Tableau (pensa em algo pior... Esse é o Tableau). Com isso, você fica desautorizado para publicar qualquer estudo feito em Power BI em nome da empresa, o que prejudica todo o seu código. Imagina que há 5 anos você vinha desenvolvendo um monte de coisa em BI, e de um dia para o outro, end game para você. Outro problema do BI é que ele dá uns bugs com números em determinadas formatações que vira um caos para resolver. Além disso, ele é limitado, por exemplo, eu faço uma análise sobre uma determinada empresa, a AMBEV, estou querendo analisar os números do BP dela, ai quero publicar num formato qualquer, sei lá... Parquet! Não consigo. O BI virou modinha porque é menos custoso para as empresas treinar seus funcionários, mas ele é bem fraco para analytics, por exemplo, é impossível fazer dash com machine learning robusto em Power BI, não dá nem para comparar os dashs desse tipo em R com o Power BI, é covardia. A maneira de usar o Dax que é a linguagem do BI eu acho confusa e pouco flexível, não dá para tirar leite de pedra de algo da microsoft. No final, a microsoft criou o Power BI como um substituto do famoso e ultrapassado VBA, só que mais caro, mas até o fato de precisar entrar no programa para usar a IDE lembra muito o VBA. E para mim qualquer coisa que tenha que pagar uma licença para uso pleno do desenvolvimento, eu já caio fora.

Já o Python é uma linguagem excelente e tal, versátil, é a melhor para fazer machine learning e muitas outras coisas, mas para trabalhar com análises de dados puramente ele é limitado. Ele tem problemas como publicações em tabelas, gráficos e relatórios. Digo, você consegue publicar coisas do tipo, mas a qualidade das imagens nessas bibliotecas são bem ruins, não dá para comparar, por exemplo, com a bibliotecas do R, o R tem cada gráfico e tabela, altamente refinado, bem bonito mesmo, mas o Python é um aliado do R para machine e outras coisas, é bom saber Python. Mas eu só acho graça e por isso fiz a piada da carteira, desses cursos falando de anáise de dados e data science, sem ensinar o sujeito a usar o R, que é simplesmente a linguagem numero 1 para quem trabalha com isso, inclusive pelo alto nível estatístico que ela proporciona, coisa que o Python não consegue. Mas o pessoal não dá curso de R aos montes pois a sua curva de aprendizagem é bem alta, a dificuldade de se aprender R é muito maior do que Python, o nicho é específico, no Brasil poucas pessoas realmente sabem, e no final o mercado é  quem manda. Mas o BI pode sim fazer coisas interessantes, um amigo meu fez um sistema todo em BI para o Banco Central Português, mas é aquilo, o BI tem o seu nicho, o problema é querer pegar ele e transformar em algo que ele não é. Dito tudo isso, acho uma boa investir seu dinheiro em Python e SQL, fuja do BI e só aprenda se te obrigarem ou se você quiser aprender.

Então você quer fazer coisas simples? Conhecimento ZERO em programação e banco de dados? Poxa, galera. Vocês estão mesmo sugerindo pra ele SQLServer, MySql e a porra toda?

Mano, dá uma olhada em tutoriais de como fazer cadastros e pequenos relatórios no Access. Tem trocentos na internet. Além do que você já deve ter isso instalado no seu computador (vem no pacote Office). Para coisas pequenas, resolve bem.

A dica da galera é top para quem quer ser programador. Se esse é seu objetivo, então comece aprendendo uma linguagem e depois manipulação de dados. É bem gratificante, mas com certeza leva MUITO mais tempo.

Pesquisando no YT, achei esse link aqui


É limitado? É!
Mas para quem não sabe programar, é uma evolução e tanto.