IBM Databand: Autoaprendizagem para detecção de anomalias – IBM Blog

Há quase um ano, a IBM encontrou um problema de validação de dados durante um de nossos fluxos de dados de fusões e aquisições urgentes. Enfrentamos vários desafios enquanto trabalhávamos para resolver o problema, incluindo solução de problemas, identificação do problema, correção do fluxo de dados, realização de alterações nos pipelines de dados downstream e execução ad hoc de um fluxo de trabalho automatizado.

Melhorando a resolução de dados e a eficiência do monitoramento com Databand

Depois que o problema imediato foi resolvido, uma análise retrospectiva revelou que a validação adequada dos dados e o monitoramento inteligente poderiam ter aliviado o problema e acelerado o tempo de resolução. Em vez de desenvolver uma solução customizada apenas para a preocupação imediata, a IBM buscou uma solução de validação de dados amplamente aplicável, capaz de lidar não apenas com esse cenário, mas também com possíveis problemas negligenciados.  

Foi então que descobri um de nossos produtos adquiridos recentemente, o IBM® Databand® para observabilidade de dados. Ao contrário das ferramentas de monitoramento tradicionais com monitoramento baseado em regras ou centenas de scripts de monitoramento desenvolvidos sob medida, o Databand oferece monitoramento de autoaprendizagem. Ele observa o comportamento dos dados anteriores e identifica desvios que excedem determinados limites. Esse recurso de aprendizado de máquina permite que os usuários monitorem dados com configuração mínima de regras e detecção de anomalias, mesmo que tenham conhecimento limitado sobre os dados ou seus padrões comportamentais.

Otimizando a observabilidade do fluxo de dados com o monitoramento de autoaprendizagem do Databand

O Databand considera o comportamento histórico do fluxo de dados e sinaliza atividades suspeitas enquanto alerta o usuário. A IBM integrou o Databand em nosso fluxo de dados, que compreendia mais de 100 pipelines. Ele forneceu atualizações de status facilmente observáveis ​​para todas as execuções e pipelines e, mais importante, destacou falhas. Isso nos permitiu concentrar e acelerar a correção de incidentes de fluxo de dados.

O Databand para observabilidade de dados usa autoaprendizagem para monitorar o seguinte:  

• Mudanças de esquema: Quando uma alteração de esquema é detectada, o Databand sinaliza em um painel e envia um alerta. Qualquer pessoa que trabalhe com dados provavelmente já encontrou cenários em que uma fonte de dados sofre alterações de esquema, como adição ou remoção de colunas. Essas mudanças impactam os fluxos de trabalho, que por sua vez afetam o processamento do pipeline de dados downstream, levando a um efeito cascata. O Databand pode analisar o histórico do esquema e alertar-nos imediatamente sobre quaisquer anomalias, evitando possíveis interrupções.
• Impacto do acordo de nível de serviço (SLA): Databand mostra a linhagem de dados e identifica pipelines de dados downstream afetados por uma falha no pipeline de dados. Se houver um SLA definido para entrega de dados, os alertas ajudarão a reconhecer e manter a conformidade com o SLA.
• Anomalias de desempenho e tempo de execução: Databand monitora a duração das execuções do pipeline de dados e aprende a detectar anomalias, sinalizando-as quando necessário. Os usuários não precisam estar cientes da duração do pipeline; Databand aprende com seus dados históricos.
• Estado: O Databand monitora o status das execuções, incluindo se elas falharam, foram canceladas ou bem-sucedidas.
• Data de validade: O Databand observa as faixas de valores dos dados ao longo do tempo e envia um alerta ao detectar anomalias. Isto inclui estatísticas típicas como média, desvio padrão, mínimo, máximo e quartis.

Alertas transformativos de banda de dados para pipelines de dados aprimorados

Os usuários podem definir alertas usando a interface de usuário do Databand, que é descomplicada e apresenta um painel intuitivo que monitora e oferece suporte a fluxos de trabalho. Ele fornece visibilidade detalhada por meio de gráficos acíclicos direcionados, o que é útil ao lidar com muitos pipelines de dados. Este sistema completo permite que as equipes de suporte se concentrem em áreas que requerem atenção, permitindo-lhes acelerar os resultados.

As fusões e aquisições da IBM Enterprise Data nos permitiram aprimorar nossos pipelines de dados com o Databand e não olhamos para trás. Temos o prazer de oferecer a você este software transformador que ajuda a identificar incidentes de dados mais cedo, resolvê-los com mais rapidez e fornecer dados mais confiáveis ​​às empresas.

Forneça dados confiáveis ​​com observabilidade contínua dos dados

Leia o relatório do Gartner