Compreendendo o impacto de dados ruins – DATAVERSITY

Você conhece os custos da má qualidade dos dados? Abaixo, exploro a importância da observabilidade dos dados, como ela pode mitigar os riscos de dados incorretos e formas de medir seu ROI. Ao compreender o impacto dos dados incorretos e implementar estratégias eficazes, as organizações podem maximizar os benefícios das suas iniciativas de qualidade de dados. 

Os dados tornaram-se parte integrante da tomada de decisões moderna e, portanto, a qualidade dos dados é fundamental para garantir que as partes interessadas das empresas tirem conclusões precisas. 

Mas aqui está o problema que todo líder de dados moderno lhe dirá: o gerenciamento da qualidade dos dados é difícil. Leva tempo e esforço. Além disso, o ROI (retorno sobre o investimento) é muitas vezes difícil de medir. 

Quão ruins são os dados ruins?

Dados incorretos podem levar a perdas financeiras significativas. O Gartner estima que, todos os anos, a má qualidade dos dados custa às organizações uma média de $ 12.9 milhões. Em 2022, Software Unity relatou uma perda de US$ 110 milhões em receita e US$ 4.2 bilhões em valor de mercado. “Consequências da ingestão de dados incorretos de um grande cliente”, afirmou a empresa. Da mesma forma, dados incorretos causaram Equifax, uma agência de relatórios de crédito de capital aberto, para enviar aos credores pontuações de crédito imprecisas em milhões de clientes. Mais recentemente, um incidente de dados causou enormes perturbações no tráfego aéreo do Reino Unido e da Irlanda. É relatado que mais de 2,000 voos foram cancelados, o que deixou centenas de milhares de viajantes retidos. A perda financeira acumulada para as companhias aéreas é estimada em 126.5 milhões de dólares.

As implicações de dados ruins 

Os dados estão no centro de todos os negócios modernos. A principal responsabilidade da equipe de dados é construir e manter produtos de dados que sejam servidos aos clientes interna e externamente, ao mesmo tempo que permite que a organização escale e atinja seus objetivos. 

Quando se trata de garantir que as iniciativas de dados da organização estejam preparadas para o sucesso, algumas expectativas básicas de uma equipe de dados podem ser resumidas da seguinte forma:

• Tempo de atividade: Os dados são um serviço e, portanto, garantir que estejam disponíveis quando necessário é fundamental.
• Segurança: Conformidade com regulamentos (como GDPR ou HIPAA). A equipe é responsável pela implementação de medidas e práticas para proteger informações sensíveis e manter a privacidade dos dados.
• Confiabilidade: Dos dados e da plataforma de dados. Parte disso é coberto pelo tempo de atividade, mas também pela qualidade e precisão dos dados em seu sentido tradicional. 
• Escala: A plataforma de dados deve permitir escalabilidade para acomodar volumes crescentes de dados, o número de casos de uso e as necessidades do negócio.
• inovação: Os dados devem impulsionar a inovação, e esta é uma área em que é importante que a equipa de dados lidere pelo exemplo, trazendo inovação para e fora das práticas de dados. 

Alcançando a qualidade dos dados por meio da observabilidade dos dados

A observabilidade de dados é uma solução para monitorar e manter proativamente a integridade dos dados durante todo o seu ciclo de vida. Ao implementar técnicas de registro, rastreamento e monitoramento, as organizações ganham visibilidade dos fluxos de dados, identificam e solucionam rapidamente problemas de qualidade de dados e evitam interrupções nos painéis analíticos. Alfabetização de dados, que envolve a obtenção, a interpretação e a comunicação de dados, é essencial para que os decisores traduzam os dados em valor empresarial de forma eficaz. Cultivar uma cultura orientada a dados e investir nas ferramentas certas são passos cruciais para alcançar a qualidade dos dados através da observabilidade dos dados. 

Quantificando o ROI da Observabilidade de Dados

Medir o ROI da observabilidade de dados ajuda os líderes empresariais a compreender o valor e os benefícios associados ao investimento nesta prática. Várias métricas quantificáveis ​​podem servir como ponto de partida para avaliar o custo de dados incorretos, incluindo a taxa de ocorrência ou o número de incidentes por ano, o tempo de detecção e o tempo de resolução.

O impacto de problemas de qualidade de dados pode variar dependendo do tamanho e da complexidade das operações comerciais. A fim de avaliar os danos e construir um argumento forte para uma solução de observabilidade de dados, propomos cinco métricas principais que os profissionais de dados podem implementar e monitorar facilmente e que podem ser usadas para apoiar um caso internamente:

1. Número e frequência de incidentes: Embora algumas empresas possam enfrentar incidentes de dados diariamente, outras podem passar dias – se não semanas – sem incidentes. A criticidade dos incidentes pode variar de algo “menor”, ​​como dados obsoletos vinculados a um painel que ninguém usa há anos, até um problema de duplicação de dados que faz com que o servidor sobrecarregue e, por fim, fique inativo (história real, Netflix 2016). Descobrimos que muitas vezes está relacionado com: o tamanho e a complexidade da plataforma de dados, o setor da empresa (alguns setores são inerentemente mais maduros em termos de dados do que outros), o tipo de arquitetura de dados (centralizada, descentralizada, híbrida), etc. Para ter uma ideia melhor do que procurar na próxima vez que houver um, incidentes repetidos costumam ser um bom indicador de que algo subjacente precisa de mais atenção.  
2. Classificação do incidente: Nem todos os incidentes de dados têm a mesma gravidade; alguns podem ser menores e facilmente mitigados, enquanto outros podem ter consequências graves. Documentar a criticidade dos incidentes é importante para garantir o escalonamento e a priorização adequados. É aqui que a linhagem de dados pode ser fundamental, pois permite a avaliação do impacto posterior do incidente para compreender melhor a criticidade. Um incidente vinculado ao painel favorito do CEO, ou a um banco de dados de produção, ou a um produto de dados importante, provavelmente será de alta criticidade. 
3. Tempo médio para detecção (MTTD): Quando se trata de construir confiança nos dados e na equipe de dados, o pesadelo de todo profissional de dados é quando as partes interessadas da empresa são as primeiras a detectar problemas de qualidade dos dados. Isso pode realmente prejudicar a credibilidade da equipe e a capacidade da empresa de se tornar verdadeiramente orientada por dados. À medida que você começa a documentar os incidentes e a classificar sua criticidade, é importante também acompanhar como eles foram detectados e o tempo que a equipe de dados levou para reconhecê-los. Essa métrica pode ser um bom indicador da robustez do seu gerenciamento de incidentes, mas também reduzi-la significa reduzir o risco de que o incidente possa causar mais danos. 
4. Tempo médio para resolução (MTTR): O que acontece quando um incidente é relatado? MTTR é o tempo médio gasto entre tomar conhecimento de um incidente de dados e resolvê-lo. O tempo de resolução é muito influenciado pela criticidade do incidente e pela complexidade da plataforma de dados, razão pela qual estamos considerando a média para efeitos desta estrutura.
5. Tempo médio de produção (MTTP) é o tempo médio necessário para enviar novos produtos de dados ou, em outras palavras, o tempo médio de lançamento de produtos de dados no mercado. Este poderia ser o tempo gasto por um analista “limpando” os dados para um modelo de ciência de dados. Na verdade, segundo Forbes, a preparação de dados é responsável por cerca de 80% do trabalho dos cientistas de dados. Num mundo onde queremos tratar os dados como um produto, a melhoria da qualidade dos dados pode ter um impacto direto na redução do tempo de colocação no mercado. 

Além das métricas quantificáveis ​​acima, vale a pena considerar outras que são menos facilmente quantificáveis, mas igualmente importantes, quando se analisa o custo de dados incorretos.

• Erosão da confiança: Nos dados e a equipe de dados. Esta é, na minha opinião, a consequência mais perigosa de dados de má qualidade, que podem resultar em problemas maiores, como rotatividade na equipa de dados ou perda de confiança na capacidade da empresa de se tornar orientada por dados e acompanhar o cenário digital em evolução. E uma vez quebrada a confiança, é muito difícil recuperá-la. Em uma experiência anterior, trabalhei com consumidores de dados que prefeririam não usar dados e confiariam na “experiência” e na “intuição” em um ambiente de negociação de ações muito volátil do que usá-los sabendo que tinham uma grande chance de serem imprecisos . 

• Perda de produtividade: Com dados ruins, as equipes são forçadas a combater e corrigir os erros à medida que surgem. Este constante combate a incêndios não é apenas exaustivo, mas também contraproducente. O tempo valioso que poderia ser gasto no planeamento estratégico e em iniciativas de crescimento é desperdiçado na resolução de problemas, desviando recursos de tarefas mais críticas.

• Risco regulatório e reputacional: Erros nos relatórios financeiros ou no tratamento incorreto de dados pessoais podem resultar em multas dispendiosas e batalhas legais. Lidar com questões de conformidade representa um dreno significativo na produtividade, para não mencionar os encargos financeiros que impõem.

• Fraco desempenho empresarial: Além de perder produtividade na equipe de dados, dados ruins podem prejudicar o desempenho geral dos negócios, à medida que a empresa luta com a prontidão digital e a credibilidade diante de seus clientes e se torna vulnerável a ameaças externas. 

As questões de qualidade dos dados podem resultar em vários problemas, incluindo perda de confiança nos dados, redução da produtividade e do moral da equipa, incumprimento dos regulamentos e diminuição da qualidade da tomada de decisões. Dados isolados dentro de departamentos ou unidades de negócios dificultam a obtenção de uma visão holística do cenário de dados da organização. Isto pode levar a tomadas de decisão ineficazes, prejudicar a cultura de dados e comprometer a conformidade com regulamentações como GDPR e HIPAA. Além disso, as equipes de dados podem ficar frustradas ao gastar tempo excessivo solucionando problemas de dados, impactando negativamente a satisfação no trabalho e potencialmente levando à rotatividade de funcionários. 

A regra 1x10x100

A regra 1x10x100, um princípio amplamente reconhecido na gestão de incidentes, enfatiza os custos crescentes associados à má qualidade dos dados. De acordo com esta regra, o custo de resolver um problema de qualidade de dados no ponto de entrada é aproximadamente 1x o custo original. Se o problema não for detectado e se propagar dentro do sistema, o custo aumenta para cerca de 10x, envolvendo esforços de correção e remediação. No entanto, se a má qualidade dos dados atingir o utilizador final ou a fase de tomada de decisão, o custo pode disparar para espantosos 100 vezes a despesa inicial devido a consequências comerciais significativas, incluindo interrupções operacionais, oportunidades perdidas e insatisfação do cliente. Esta regra sublinha o impacto exponencial da má qualidade dos dados, tornando crucial que as organizações invistam na observabilidade dos dados, o que ajuda a manter os problemas, caso ocorram, mais próximos da causa raiz do que a jusante.

Conclusão

Os problemas de qualidade dos dados impactam significativamente os negócios, levando ao desperdício de recursos e à perda de oportunidades. Investir na observabilidade dos dados é essencial para prevenir e mitigar os riscos associados a dados incorretos. Ao aproveitar métricas quantificáveis ​​e considerar fatores não quantificáveis, as organizações podem medir o ROI da observabilidade dos dados e demonstrar o seu valor aos decisores. Garantir a confiança nos dados, promover uma tomada de decisão eficaz no domínio, cumprir os regulamentos e promover uma equipa de dados satisfeita são aspectos críticos para maximizar os benefícios das iniciativas de qualidade de dados. Adotar a observabilidade de dados é um investimento estratégico que protege a precisão, a confiabilidade e a utilização dos dados no mundo atual, orientado por dados. 

As organizações que criam uma prática rica de observabilidade têm mais visibilidade nos seus ambientes interligados, o que se traduz em menos interrupções, resolução mais rápida de problemas, maior confiança na fiabilidade das suas aplicações e, em última análise, mais receitas e clientes mais satisfeitos.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://www.dataversity.net/putting-a-number-on-bad-data/