Detecção de Anomalia Simples em Databricks Usando Média e Desvio Padrão

Postado em 23 de Junho de 2025

Qualquer plataforma de dados moderna enfrenta desafios críticos de qualidade e monitoramento de dados. Seja para detectar falhas silenciosas após um deploy ou para identificar comportamentos inesperados dos usuários, conseguir sinalizar anomalias rapidamente pode evitar perda de receita, degradação da experiência do usuário ou riscos de conformidade. A seguir, mostramos como solucionamos esse problema usando um método estatístico simples combinado com IA generativa.

No universo dos dados, padrões regulares são companheiros reconfortantes. Quando seu café está pronto pontualmente às 7h30 ou quando seu gato espera receber ração exatamente às 6h00, é essa previsibilidade que torna a experiência agradável. Mas, de vez em quando, algo quebra esse ritmo - um alarme de café que não dispara ou um miado alto lembrando que você esqueceu de alimentar o bichano. Bem-vindo ao intrigante mundo das anomalias.

Na Consumidor Positivo, enfrentávamos situações em que deploys impactavam nossos sistemas sem que percebêssemos até muito depois, apesar de termos testes unitários e de integração robustos. Pior ainda, levaria um bom tempo até identificarmos a causa e correlacioná-la ao deploy. Isso nos levou a buscar maneiras simples de detectar deslocamentos repentinos nos padrões de dados, para sermos alertados e diagnosticarmos problemas com muito mais agilidade.

Desde então, criamos um sistema chamado ADULA (o nome é uma piada interna que eu não posso contar aqui, infelizmente - a menos que a gente te contrate, é claro) responsável por detectar anomalias nos nossos dados de eventos, e que também evoluiu para diagnosticá-las automaticamente para nós (dentro do possível).

[Leia mais...]/pt/posts/deteccao-de-anomalia-simples-em-databricks-usando-media-e-desvio-padrao){: .read-more-link }