Понимание влияния неверных данных – DATAVERSITY

Знаете ли вы, какую цену приходится платить за плохое качество данных? Ниже я исследую значение наблюдаемости данных, то, как она может снизить риски, связанные с неверными данными, и способы измерения рентабельности инвестиций. Понимая влияние неверных данных и реализуя эффективные стратегии, организации могут максимизировать преимущества своих инициатив по обеспечению качества данных. 

Данные стали неотъемлемой частью современного процесса принятия решений, и поэтому качество данных имеет первостепенное значение для обеспечения того, чтобы заинтересованные стороны бизнеса делали точные выводы. 

Но вот в чем загвоздка, которую скажет вам каждый современный лидер в области данных: управлять качеством данных сложно. Это требует времени и усилий. Более того, рентабельность инвестиций (возврат инвестиций) часто трудно измерить. 

Насколько плохи плохие данные?

Неверные данные могут привести к значительным финансовым потерям. По оценкам Gartner, ежегодно низкое качество данных обходится организациям в среднем в $ 12.9 миллионов. В 2022 г. Программное обеспечение Unity сообщила о потере $110 млн выручки и $4.2 млрд рыночной капитализации. «Последствия получения неверных данных от крупного клиента», — заявили в компании. Аналогичным образом неправильные данные вызвали Equifax, публичное агентство кредитной отчетности, для отправки кредиторам неточных кредитных рейтингов на миллионы клиентов. Совсем недавно инцидент с данными вызвал огромные нарушения воздушного движения Великобритании и Ирландии. Сообщается, что было отменено более 2,000 рейсов, в результате чего сотни тысяч путешественников оказались в затруднительном положении, накопленные финансовые потери авиакомпаний оцениваются в 126.5 миллионов долларов.

Последствия плохих данных 

Данные лежат в основе любого современного бизнеса. Основная ответственность группы данных заключается в создании и обслуживании продуктов данных, которые предоставляются клиентам внутри и снаружи, позволяя при этом организации масштабироваться и достигать своих целей. 

Когда дело доходит до обеспечения того, чтобы инициативы организации в области данных были готовы к успеху, некоторые базовые ожидания от группы данных можно резюмировать следующим образом:

• Uptime: Данные — это услуга, поэтому обеспечение их доступности в случае необходимости является ключевым моментом.
• Безопасность: Соблюдение правил (таких как GDPR или HIPAA). Команда отвечает за реализацию мер и методов защиты конфиденциальной информации и обеспечения конфиденциальности данных.
• Надежность: И данных, и платформы данных. Частично это связано с временем безотказной работы, а также с качеством и точностью данных в их традиционном понимании. 
• Масштаб: Платформа данных должна обеспечивать масштабируемость для удовлетворения растущих объемов данных, количества вариантов использования и потребностей бизнеса.
• Инновации: Данные должны стимулировать инновации, и в этой области важно, чтобы команда данных подавала пример, внедряя инновации в практику обработки данных и за ее пределы. 

Достижение качества данных за счет наблюдаемости данных

Наблюдение за данными — это решение для упреждающего мониторинга и поддержания работоспособности данных на протяжении всего их жизненного цикла. Внедряя методы регистрации, отслеживания и мониторинга, организации получают возможность контролировать потоки данных, быстро выявлять и устранять проблемы с качеством данных, а также предотвращать сбои в работе аналитических панелей. Информационная грамотность, включающий поиск, интерпретацию и передачу данных, необходим лицам, принимающим решения, для эффективного преобразования данных в ценность для бизнеса. Развитие культуры, основанной на данных, и инвестирование в правильные инструменты являются важными шагами на пути к достижению качества данных за счет возможности наблюдения за данными. 

Количественная оценка рентабельности наблюдения за данными

Измерение рентабельности инвестиций в наблюдение за данными помогает бизнес-лидерам понять ценность и преимущества, связанные с инвестированием в эту практику. Несколько поддающихся количественной оценке показателей могут служить отправной точкой для оценки стоимости неверных данных, включая частоту возникновения или количество инцидентов в год, время обнаружения и время разрешения.

Влияние проблемы с качеством данных может варьироваться в зависимости от размера и сложности бизнес-операций. Чтобы оценить ущерб и обосновать решение для наблюдения за данными, мы предлагаем пять ключевых показателей, которые специалисты по работе с данными могут легко внедрить и отслеживать, и которые можно использовать для внутренней поддержки дела:

1. Количество и частота инцидентов: В то время как некоторые компании могут сталкиваться с инцидентами с данными ежедневно, другие могут обходиться без них днями, если не неделями. Критичность инцидентов может варьироваться от чего-то «незначительного», например устаревших данных, связанных с информационной панелью, которую никто не использовал уже много лет, до проблемы дублирования данных, вызывающей перегрузку сервера и, в конечном итоге, выход из строя (правдивая история, Нетфликс, 2016). Мы обнаружили, что это часто связано с: размером и сложностью платформы данных, отраслью компании (некоторые отрасли по своей природе более зрелы в отношении данных, чем другие), типом архитектуры данных (централизованная, децентрализованная, гибридная) и т. д. Документирование инцидентов даст Лучшее представление о том, на что следует обратить внимание в следующий раз, когда такое произойдет, повторяющиеся инциденты часто являются хорошим индикатором того, что что-то скрытое требует более пристального внимания.  
2. Классификация инцидентов: Не все инциденты с данными имеют одинаковую степень серьезности; некоторые из них могут быть незначительными и их легко смягчить, тогда как другие могут иметь серьезные последствия. Документирование критичности инцидентов важно для обеспечения надлежащей эскалации и определения приоритетов. Именно здесь происхождение данных может сыграть важную роль, поскольку позволяет оценить дальнейшее влияние инцидента и лучше понять его критичность. Инцидент, связанный с любимой информационной панелью генерального директора, производственной базой данных или важным продуктом данных, скорее всего, будет иметь высокую критичность. 
3. Среднее время обнаружения (MTTD): Когда дело доходит до укрепления доверия к данным и команде по работе с данными, кошмаром каждого специалиста по обработке данных является ситуация, когда заинтересованные стороны бизнеса первыми обнаруживают проблемы с качеством данных. Это может серьезно подорвать доверие к команде и способность компании по-настоящему ориентироваться на данные. Когда вы начнете документировать инциденты и классифицировать их критичность, важно также отслеживать, как они были обнаружены и сколько времени потребовалось группе данных, чтобы подтвердить их. Этот показатель может быть хорошим индикатором надежности вашего управления инцидентами, но его уменьшение означает, что вы снижаете риск того, что инцидент может нанести больший ущерб. 
4. Среднее время разрешения (MTTR): Что происходит, когда сообщается об инциденте? MTTR — это среднее время, затрачиваемое между обнаружением инцидента с данными и его устранением. На время разрешения сильно влияет критичность инцидента и сложность платформы данных, поэтому для целей этой структуры мы рассматриваем среднее значение.
5. Среднее время производства (MTTP) — это среднее время, необходимое для поставки новых продуктов данных или, другими словами, среднее время вывода продуктов данных на рынок. Это может быть время, потраченное аналитиком на «очистку» данных для модели науки о данных. Фактически, согласно Forbes, подготовка данных составляет около 80% работы специалистов по обработке данных. В мире, где мы хотим относиться к данным как к продукту, улучшение качества данных может оказать прямое влияние на сокращение времени выхода на рынок. 

В дополнение к вышеупомянутым количественным показателям, при оценке стоимости плохих данных стоит учитывать и другие, которые менее легко поддаются количественной оценке, но не менее важны.

• Подрыв доверия: В данных и команда данных. На мой взгляд, это самое опасное последствие плохих данных, которое может привести к более серьезным проблемам, таким как текучесть кадров в команде данных или потеря доверия к способности компании управлять данными и идти в ногу с развивающейся цифровой средой. И как только доверие подорвано, его очень трудно вернуть. В предыдущем опыте я работал с потребителями данных, которые предпочли бы не использовать данные и предпочли бы полагаться на «опыт» и «чувство интуиции» в очень нестабильной среде торговли акциями, чем использовать их, зная, что они имеют высокую вероятность быть неточными. . 

• Потеря производительности: Имея неверные данные, команды вынуждены бороться с ними и исправлять ошибки по мере их возникновения. Постоянное тушение пожаров не только утомительно, но и контрпродуктивно. Драгоценное время, которое можно было бы потратить на стратегическое планирование и инициативы по развитию, тратится на устранение неполадок, отвлекая ресурсы от более важных задач.

• Регуляторный и репутационный риск: Ошибки в финансовой отчетности или неправильное обращение с личными данными могут привести к дорогостоящим штрафам и судебным тяжбам. Решение проблем соблюдения требований значительно снижает производительность, не говоря уже о финансовом бремени, которое они налагают.

• Плохие показатели бизнеса: Плохие данные не только снижают производительность команды обработки данных, но и снижают общую эффективность бизнеса, поскольку компания испытывает трудности с цифровой готовностью и доверием своих клиентов и становится уязвимой для внешних угроз. 

Проблемы с качеством данных могут привести к различным проблемам, включая потерю доверия к данным, снижение производительности и морального духа команды, несоблюдение правил и снижение качества принятия решений. Разрозненные данные внутри отделов или бизнес-подразделений затрудняют получение целостного представления о ландшафте данных организации. Это может привести к неэффективному принятию решений, затруднить культуру данных и поставить под угрозу соблюдение таких правил, как GDPR и HIPAA. Более того, команды обработки данных могут разочароваться, тратя слишком много времени на устранение проблем с данными, что негативно влияет на их удовлетворенность работой и потенциально может привести к оттоку сотрудников. 

Правило 1x10x100

Правило 1x10x100, широко признанный принцип управления инцидентами, подчеркивает рост затрат, связанных с плохим качеством данных. Согласно этому правилу, стоимость решения проблемы качества данных в точке входа примерно в 1 раз превышает первоначальную стоимость. Если проблема остается незамеченной и распространяется внутри системы, затраты увеличиваются примерно в 10 раз, включая усилия по исправлению и исправлению. Однако если низкое качество данных достигает конечного пользователя или этапа принятия решений, затраты могут резко возрасти до ошеломляющих 100-кратных первоначальных затрат из-за серьезных последствий для бизнеса, включая сбои в работе, упущенные возможности и неудовлетворенность клиентов. Это правило подчеркивает экспоненциальное влияние плохого качества данных, поэтому для организаций крайне важно инвестировать в возможность наблюдения за данными, что помогает держать проблемы, если они возникают, ближе к основной причине, а не к последующим.

Заключение

Проблемы с качеством данных существенно влияют на бизнес, приводя к напрасной трате ресурсов и упущенным возможностям. Инвестиции в возможность наблюдения за данными необходимы для предотвращения и смягчения рисков, связанных с неверными данными. Используя количественные показатели и учитывая неизмеримые факторы, организации могут измерить рентабельность инвестиций в наблюдаемость данных и продемонстрировать ее ценность лицам, принимающим решения. Обеспечение доверия к данным, содействие эффективному принятию решений в предметной области, соблюдение нормативных требований и формирование удовлетворенной команды по работе с данными — все это важнейшие аспекты максимизации преимуществ инициатив по обеспечению качества данных. Обеспечение наблюдаемости данных — это стратегическая инвестиция, которая гарантирует точность, надежность и использование данных в современном мире, управляемом данными. 

Организации, которые создают богатую практику наблюдения, имеют большую прозрачность своей взаимосвязанной среды, что приводит к меньшему количеству простоев, более быстрому решению проблем, большей уверенности в надежности своих приложений – и, в конечном итоге, к большему доходу и более счастливым клиентам.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://www.dataversity.net/putting-a-number-on-bad-data/