Estratégia para notificação de problemas no servidor
comentada em 26/11/2021 11:19

No lugar em que trabalho, criei bot do Telegram...

Diariamente, os sistemas passam algumas informações do que está acontecendo. (uso dos sistemas, temperatura, etc..)

E também envia alerta, caso algo saia do normal.

Daí, criamos um grupo no Telegram e as pessoas envolvidas estão lá junto com o Bot. 

Quanto à segurança, 

No meu caso, um servidor (virtual) que tem acesso à Internet (somente ao serviço Telegram) e esse servidor, monitora os serviços que não tem acesso.

Usamos AWS :-)

@Henrique59 melhor resposta rs

Aqui usamos uma solução no formato que o @oExtraTerrestre comentou.

Os servidores que precisam de segurança forte estão expostos apenas na rede local, enquanto um servidor exclusivo para monitoramente tem acesso às redes local e externa. A comunicação entre a máquina de monitoramento e os outros servidores é feita de forma limitada, pois liberamos apenas as portas usadas pelos serviços de monitoramento.

As soluções de monitoramento que conheço são o Zabbix, e o combo Telegraf + Grafana, todas open source. Elas dão diversas opções de notificação, incluindo email e telegram.

Zabbix (free) ou PRTG ( $ ).
O zabbix não é difícil de configurar, mas não é tão trivial.
O PRTG já é mais fácil porém pago.

Uma dica: Faz um curso no Udemy de zabbix, perde aí uns diazinhos e implementa.

Dou duas sugestões:


1- Muda para AWS ou qualquer outro serviço de cloud que tudo isso será feito quase que auto-magicamente, isso é a definição de #PAS na infra de TI ao meu ver.

2- Se não puder mudar e precisa realmente ter o datacenter local, iria de Telegraf + InfluxDB + Grafana + Kapacitor


*No lugar de Chronograf, entenda por Grafana (Chronograf é outro software estilo Grafana mas mais capado ao meu ver)

Explicando cada um do componentes:

Telegraf: é uma ferramente opensource na qual coleta métricas não apenas do seu hardware mas também de aplicações por exemplo banco de dados, load balancer, e-mail server e etc, existe milhares de addons que você consegue confirgurar nele e é multi plataforma (Linux, Windows);

InfluxDB: é onde serão armazenados os dados coletados pelo Telegraf, é um database noSQL muito eficiente para esse tipo de trabalho aqui, opensource também;

Grafana: aqui é onde as coisas começam a ficar legais. É uma ferramenta na qual você cria dashboards e os customizada da maneira que você quiser para demonstrar os dados que foram coletados e armazenados no InfluxDB. Existem diversos templates de dashboard prontos que você pode utilizar e customizar ao seu gosto ou simplesmente criar do zero. Ferramenta opensource também. Nele você pode fazer integração de notificação para váriso serviços como por exemplo e-mail, Slack, Telegram, Kafka, Microsoft Teams, WebHooks e etc.

Kapacitor: a cereja do bolo. É uma ferramenta que faz a detecção de anomalias, e quando a anomalia é detectada ela notifica você através de algum canal de comunicação dito anteriormente. O porquê disso é legal é que imagine que alguma aplicação/servidor seu aumente o consumo de algum recurso toda sexta-feira, se vc não tiver o Kapacitor, toda sexta-feira você irá receber uma notificação de uso excessivo de recursos e etc. Com o Kapacitor ao longo do tempo ele aprende/configura que nas sexta-feira é um comportamente comum o aumento do uso de recurso então não precisa notificar não gerando trabalho para ser analisado.

Coloquei aqui somente uma explicação bem superficial sobre os componentes, você pode dar uma olhada melhor na documentação deles e vários videos no YouTube sobre como funciona ou configura.

Utilizo essas ferramentas para monitorar no trabalho (Datacenter com +- 120 Servidores, 400 VMs e não sei quantas aplicações)

Agradeço a ajuda da galera

Vou ser mais um a dizer: coloca na aws. PÁS

Edit: complementando.
Usando um conjunto de:
 - alertas de métricas da instância (que a aws te dá pronto)
 - backups periódicos (hora, dia, etc, aws dá pronto)
 - automação pra subir outro 'ambiente' ou recriar tudo se der algo errado

Você terá paz eterna, nem vai lembrar que tem sistema rodando.