Знаете ли вы, какую цену приходится платить за плохое качество данных? Ниже я исследую значение наблюдаемости данных, то, как она может снизить риски, связанные с неверными данными, и способы измерения рентабельности инвестиций. Понимая влияние неверных данных и реализуя эффективные стратегии, организации могут максимизировать преимущества своих инициатив по обеспечению качества данных.
Данные стали неотъемлемой частью современного процесса принятия решений, и поэтому качество данных имеет первостепенное значение для обеспечения того, чтобы заинтересованные стороны бизнеса делали точные выводы.
Но вот в чем загвоздка, которую скажет вам каждый современный лидер в области данных: управлять качеством данных сложно. Это требует времени и усилий. Более того, рентабельность инвестиций (возврат инвестиций) часто трудно измерить.
Насколько плохи плохие данные?
Неверные данные могут привести к значительным финансовым потерям. По оценкам Gartner, ежегодно низкое качество данных обходится организациям в среднем в $ 12.9 миллионов. В 2022 г. Программное обеспечение Unity сообщила о потере $110 млн выручки и $4.2 млрд рыночной капитализации. «Последствия получения неверных данных от крупного клиента», — заявили в компании. Аналогичным образом неправильные данные вызвали Equifax, публичное агентство кредитной отчетности, для отправки кредиторам неточных кредитных рейтингов на миллионы клиентов. Совсем недавно инцидент с данными вызвал огромные нарушения воздушного движения Великобритании и Ирландии. Сообщается, что было отменено более 2,000 рейсов, в результате чего сотни тысяч путешественников оказались в затруднительном положении, накопленные финансовые потери авиакомпаний оцениваются в 126.5 миллионов долларов.
Последствия плохих данных
Данные лежат в основе любого современного бизнеса. Основная ответственность группы данных заключается в создании и обслуживании продуктов данных, которые предоставляются клиентам внутри и снаружи, позволяя при этом организации масштабироваться и достигать своих целей.
Когда дело доходит до обеспечения того, чтобы инициативы организации в области данных были готовы к успеху, некоторые базовые ожидания от группы данных можно резюмировать следующим образом:
- Uptime: Данные — это услуга, поэтому обеспечение их доступности в случае необходимости является ключевым моментом.
- Безопасность: Соблюдение правил (таких как GDPR или HIPAA). Команда отвечает за реализацию мер и методов защиты конфиденциальной информации и обеспечения конфиденциальности данных.
- Надежность: И данных, и платформы данных. Частично это связано с временем безотказной работы, а также с качеством и точностью данных в их традиционном понимании.
- Масштаб: Платформа данных должна обеспечивать масштабируемость для удовлетворения растущих объемов данных, количества вариантов использования и потребностей бизнеса.
- Инновации: Данные должны стимулировать инновации, и в этой области важно, чтобы команда данных подавала пример, внедряя инновации в практику обработки данных и за ее пределы.
Достижение качества данных за счет наблюдаемости данных
Наблюдение за данными — это решение для упреждающего мониторинга и поддержания работоспособности данных на протяжении всего их жизненного цикла. Внедряя методы регистрации, отслеживания и мониторинга, организации получают возможность контролировать потоки данных, быстро выявлять и устранять проблемы с качеством данных, а также предотвращать сбои в работе аналитических панелей. Информационная грамотность, включающий поиск, интерпретацию и передачу данных, необходим лицам, принимающим решения, для эффективного преобразования данных в ценность для бизнеса. Развитие культуры, основанной на данных, и инвестирование в правильные инструменты являются важными шагами на пути к достижению качества данных за счет возможности наблюдения за данными.
Количественная оценка рентабельности наблюдения за данными
Измерение рентабельности инвестиций в наблюдение за данными помогает бизнес-лидерам понять ценность и преимущества, связанные с инвестированием в эту практику. Несколько поддающихся количественной оценке показателей могут служить отправной точкой для оценки стоимости неверных данных, включая частоту возникновения или количество инцидентов в год, время обнаружения и время разрешения.
Влияние проблемы с качеством данных может варьироваться в зависимости от размера и сложности бизнес-операций. Чтобы оценить ущерб и обосновать решение для наблюдения за данными, мы предлагаем пять ключевых показателей, которые специалисты по работе с данными могут легко внедрить и отслеживать, и которые можно использовать для внутренней поддержки дела:
- Количество и частота инцидентов: В то время как некоторые компании могут сталкиваться с инцидентами с данными ежедневно, другие могут обходиться без них днями, если не неделями. Критичность инцидентов может варьироваться от чего-то «незначительного», например устаревших данных, связанных с информационной панелью, которую никто не использовал уже много лет, до проблемы дублирования данных, вызывающей перегрузку сервера и, в конечном итоге, выход из строя (правдивая история, Нетфликс, 2016). Мы обнаружили, что это часто связано с: размером и сложностью платформы данных, отраслью компании (некоторые отрасли по своей природе более зрелы в отношении данных, чем другие), типом архитектуры данных (централизованная, децентрализованная, гибридная) и т. д. Документирование инцидентов даст Лучшее представление о том, на что следует обратить внимание в следующий раз, когда такое произойдет, повторяющиеся инциденты часто являются хорошим индикатором того, что что-то скрытое требует более пристального внимания.
- Классификация инцидентов: Не все инциденты с данными имеют одинаковую степень серьезности; некоторые из них могут быть незначительными и их легко смягчить, тогда как другие могут иметь серьезные последствия. Документирование критичности инцидентов важно для обеспечения надлежащей эскалации и определения приоритетов. Именно здесь происхождение данных может сыграть важную роль, поскольку позволяет оценить дальнейшее влияние инцидента и лучше понять его критичность. Инцидент, связанный с любимой информационной панелью генерального директора, производственной базой данных или важным продуктом данных, скорее всего, будет иметь высокую критичность.
- Среднее время обнаружения (MTTD): Когда дело доходит до укрепления доверия к данным и команде по работе с данными, кошмаром каждого специалиста по обработке данных является ситуация, когда заинтересованные стороны бизнеса первыми обнаруживают проблемы с качеством данных. Это может серьезно подорвать доверие к команде и способность компании по-настоящему ориентироваться на данные. Когда вы начнете документировать инциденты и классифицировать их критичность, важно также отслеживать, как они были обнаружены и сколько времени потребовалось группе данных, чтобы подтвердить их. Этот показатель может быть хорошим индикатором надежности вашего управления инцидентами, но его уменьшение означает, что вы снижаете риск того, что инцидент может нанести больший ущерб.
- Среднее время разрешения (MTTR): Что происходит, когда сообщается об инциденте? MTTR — это среднее время, затрачиваемое между обнаружением инцидента с данными и его устранением. На время разрешения сильно влияет критичность инцидента и сложность платформы данных, поэтому для целей этой структуры мы рассматриваем среднее значение.
- Среднее время производства (MTTP) — это среднее время, необходимое для поставки новых продуктов данных или, другими словами, среднее время вывода продуктов данных на рынок. Это может быть время, потраченное аналитиком на «очистку» данных для модели науки о данных. Фактически, согласно Forbes, подготовка данных составляет около 80% работы специалистов по обработке данных. В мире, где мы хотим относиться к данным как к продукту, улучшение качества данных может оказать прямое влияние на сокращение времени выхода на рынок.
В дополнение к вышеупомянутым количественным показателям, при оценке стоимости плохих данных стоит учитывать и другие, которые менее легко поддаются количественной оценке, но не менее важны.
- Подрыв доверия: В данных и команда данных. На мой взгляд, это самое опасное последствие плохих данных, которое может привести к более серьезным проблемам, таким как текучесть кадров в команде данных или потеря доверия к способности компании управлять данными и идти в ногу с развивающейся цифровой средой. И как только доверие подорвано, его очень трудно вернуть. В предыдущем опыте я работал с потребителями данных, которые предпочли бы не использовать данные и предпочли бы полагаться на «опыт» и «чувство интуиции» в очень нестабильной среде торговли акциями, чем использовать их, зная, что они имеют высокую вероятность быть неточными. .
- Потеря производительности: Имея неверные данные, команды вынуждены бороться с ними и исправлять ошибки по мере их возникновения. Постоянное тушение пожаров не только утомительно, но и контрпродуктивно. Драгоценное время, которое можно было бы потратить на стратегическое планирование и инициативы по развитию, тратится на устранение неполадок, отвлекая ресурсы от более важных задач.
- Регуляторный и репутационный риск: Ошибки в финансовой отчетности или неправильное обращение с личными данными могут привести к дорогостоящим штрафам и судебным тяжбам. Решение проблем соблюдения требований значительно снижает производительность, не говоря уже о финансовом бремени, которое они налагают.
- Плохие показатели бизнеса: Плохие данные не только снижают производительность команды обработки данных, но и снижают общую эффективность бизнеса, поскольку компания испытывает трудности с цифровой готовностью и доверием своих клиентов и становится уязвимой для внешних угроз.
Проблемы с качеством данных могут привести к различным проблемам, включая потерю доверия к данным, снижение производительности и морального духа команды, несоблюдение правил и снижение качества принятия решений. Разрозненные данные внутри отделов или бизнес-подразделений затрудняют получение целостного представления о ландшафте данных организации. Это может привести к неэффективному принятию решений, затруднить культуру данных и поставить под угрозу соблюдение таких правил, как GDPR и HIPAA. Более того, команды обработки данных могут разочароваться, тратя слишком много времени на устранение проблем с данными, что негативно влияет на их удовлетворенность работой и потенциально может привести к оттоку сотрудников.
Правило 1x10x100
Правило 1x10x100, широко признанный принцип управления инцидентами, подчеркивает рост затрат, связанных с плохим качеством данных. Согласно этому правилу, стоимость решения проблемы качества данных в точке входа примерно в 1 раз превышает первоначальную стоимость. Если проблема остается незамеченной и распространяется внутри системы, затраты увеличиваются примерно в 10 раз, включая усилия по исправлению и исправлению. Однако если низкое качество данных достигает конечного пользователя или этапа принятия решений, затраты могут резко возрасти до ошеломляющих 100-кратных первоначальных затрат из-за серьезных последствий для бизнеса, включая сбои в работе, упущенные возможности и неудовлетворенность клиентов. Это правило подчеркивает экспоненциальное влияние плохого качества данных, поэтому для организаций крайне важно инвестировать в возможность наблюдения за данными, что помогает держать проблемы, если они возникают, ближе к основной причине, а не к последующим.
Заключение
Проблемы с качеством данных существенно влияют на бизнес, приводя к напрасной трате ресурсов и упущенным возможностям. Инвестиции в возможность наблюдения за данными необходимы для предотвращения и смягчения рисков, связанных с неверными данными. Используя количественные показатели и учитывая неизмеримые факторы, организации могут измерить рентабельность инвестиций в наблюдаемость данных и продемонстрировать ее ценность лицам, принимающим решения. Обеспечение доверия к данным, содействие эффективному принятию решений в предметной области, соблюдение нормативных требований и формирование удовлетворенной команды по работе с данными — все это важнейшие аспекты максимизации преимуществ инициатив по обеспечению качества данных. Обеспечение наблюдаемости данных — это стратегическая инвестиция, которая гарантирует точность, надежность и использование данных в современном мире, управляемом данными.
Организации, которые создают богатую практику наблюдения, имеют большую прозрачность своей взаимосвязанной среды, что приводит к меньшему количеству простоев, более быстрому решению проблем, большей уверенности в надежности своих приложений – и, в конечном итоге, к большему доходу и более счастливым клиентам.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
- ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
- ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
- ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
- Источник: https://www.dataversity.net/putting-a-number-on-bad-data/
- :имеет
- :является
- :нет
- :куда
- $UP
- 000
- 1
- 100x
- 2016
- 2022
- 9
- a
- способность
- О нас
- выше
- вмещать
- По
- Учетные записи
- накопленный
- точность
- точный
- достижение
- признавать
- Ad
- дополнение
- адресация
- агентство
- Века
- AIR
- Авиакомпании
- Все
- позволять
- Позволяющий
- позволяет
- причислены
- an
- аналитик
- аналитика
- и
- примерно
- архитектура
- МЫ
- ПЛОЩАДЬ
- возникать
- около
- AS
- аспекты
- оценить
- оценки;
- связанный
- At
- внимание
- доступен
- в среднем
- знать
- Плохой
- плохие данные
- Базовая линия
- основа
- бои
- BE
- становиться
- становится
- становление
- не являетесь
- ниже
- Преимущества
- Лучшая
- между
- больший
- миллиард
- изоферменты печени
- Приведение
- Сломанный
- строить
- Строительство
- бремя
- бизнес
- Бизнес лидеры
- деловые операции
- эффективность бизнеса
- бизнес
- но
- by
- CAN
- отменен
- глава
- случаев
- случаев
- Привлекайте
- Вызывать
- вызванный
- Причинение
- централизованная
- сложные
- шанс
- классификация
- классифицировать
- ближе
- CO
- выходит
- общение
- Компании
- Компания
- Компании
- сложность
- Соответствие закону
- доверие
- следствие
- Последствия
- принимая во внимание
- постоянная
- Потребители
- исправить
- Цена
- дорогостоящий
- Расходы
- может
- контрпродуктивно
- покрытый
- Доверие
- кредит
- критической
- критичность
- решающее значение
- Культура
- клиент
- Клиенты
- ежедневно
- повреждение
- опасно
- приборная панель
- щитки
- данным
- Платформа данных
- Подготовка данных
- конфиденциальность данных
- Качество данных
- наука о данных
- управляемых данными
- База данных
- ДАТАВЕРСИЯ
- Дней
- занимавшийся
- децентрализованная
- Принятие решений
- лица, принимающие решения
- демонстрировать
- ведомства
- в зависимости
- обнаруживать
- обнаруженный
- обнаружение
- трудный
- Интернет
- направлять
- Нарушение
- нарушения
- документ
- документирование
- домен
- вниз
- истощать
- управлять
- два
- легко
- Эффективный
- фактически
- усилие
- усилия
- охватывающий
- подчеркивает
- Сотрудник
- обеспечивать
- обеспечение
- запись
- Окружающая среда
- средах
- Equifax
- ошибки
- эскалация
- существенный
- к XNUMX году
- Оценки
- и т.д
- Эфир (ETH)
- оценки
- События
- Каждая
- развивается
- пример
- чрезмерный
- ожидания
- опыт
- Больше
- экспоненциальный
- и, что лучший способ
- внешне
- факт
- факторы
- быстрее
- Избранное
- меньше
- финансовый
- Найдите
- конец
- First
- 5
- Авиабилеты
- следующим образом
- Что касается
- Forbes
- принудительный
- содействие
- Рамки
- частота
- от
- передний
- разочарования
- Более того
- Gain
- Gartner
- GDPR
- Дайте
- Go
- идет
- хорошо
- большой
- значительно
- Рост
- Рост
- было
- происходит
- счастливее
- Жесткий
- Есть
- Медицина
- Сердце
- помогает
- High
- препятствовать
- целостный
- Как
- Однако
- HTML
- HTTPS
- огромный
- Сотни
- Опт
- Гибридный
- i
- идея
- определения
- if
- Влияние
- воздействуя
- осуществлять
- реализация
- Осуществляющий
- последствия
- важную
- наложенный
- улучшение
- in
- В других
- неточный
- инцидент
- инцидентов
- В том числе
- Увеличивает
- Индикаторные
- промышленности
- промышленность
- влияние
- информация
- по существу
- начальный
- инициативы
- Инновации
- инструментальный
- рефлексологии
- внутренне
- в
- Грин- карта инвестору
- инвестирование
- инвестиций
- с участием
- Ирландия
- вопрос
- вопросы
- IT
- ЕГО
- подвергать опасности
- работа
- всего
- Сохранить
- Основные
- Знать
- знание
- пейзаж
- большой
- вести
- лидер
- Лидеры
- ведущий
- оставил
- Юр. Информация
- кредиторы
- Меньше
- Используя
- Жизненный цикл
- такое как
- Вероятно
- связанный
- каротаж
- посмотреть
- искать
- потери
- от
- потери
- потерянный
- LP
- поддерживать
- ДЕЛАЕТ
- Создание
- управление
- рынок
- Рынок
- ОБЗОР РЫНКА
- зрелый
- Максимизировать
- максимизации
- Май..
- означает
- проводить измерение
- меры
- Встречайте
- упомянуть
- метрический
- Метрика
- миллиона
- небольшая
- плохое обращение
- пропущенный
- смягчать
- модель
- Модерн
- монитор
- Мониторинг
- БОЛЕЕ
- Более того
- самых
- my
- необходимый
- потребности
- отрицательно
- Netflix
- Новые
- следующий
- номер
- целей
- происходить
- вхождение
- of
- .
- on
- консолидировать
- ONE
- только
- оперативный
- Операционный отдел
- Обзор
- Возможности
- or
- заказ
- организация
- организации
- оригинал
- Другое
- Другое
- Отключения
- внешнюю
- за
- общий
- Первостепенный
- часть
- для
- производительность
- личного
- личные данные
- планирование
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- сбалансирован
- состояния потока
- потенциально
- практика
- практиками
- подготовка
- предотвращать
- предыдущий
- принцип
- приоритетов
- политикой конфиденциальности.
- Проблема
- проблемам
- Продукт
- Производство
- производительность
- Продукция
- Содействие
- правильный
- предлагает
- для защиты
- публично
- цель
- количественному
- быстро
- Обменный курс
- скорее
- доходит до
- Готовность
- на самом деле
- недавно
- признанный
- уменьшить
- Цена снижена
- снижение
- вернуть себе
- правила
- надежность
- полагаться
- повторный
- Сообщается
- Reporting
- Постановления
- решения
- Полезные ресурсы
- ответственность
- ответственный
- результат
- возвращают
- доходы
- Богатые
- правую
- Снижение
- рисках,
- прочность
- ROI
- корень
- Правило
- защитные меры
- то же
- удовлетворение
- довольный
- Масштабируемость
- Шкала
- Наука
- Ученые
- множество
- Отправить
- смысл
- чувствительный
- серьезный
- служить
- служил
- сервер
- обслуживание
- несколько
- строгость
- судно
- должен
- значение
- значительный
- существенно
- разобщенный
- Аналогичным образом
- Размер
- сигнальная ракета
- Решение
- некоторые
- удалось
- Об
- Расходы
- потраченный
- Этап
- ошеломляющий
- заинтересованных сторон
- Начало
- Начало
- заявил
- Шаги
- Стратегический
- СТРАТЕГИЧЕСКИЕ ИНВЕСТИЦИИ
- стратегий
- потоки
- сильный
- Схватки
- успех
- такие
- поддержка
- система
- принимает
- задачи
- команда
- команды
- снижения вреда
- сказать
- чем
- который
- Ассоциация
- их
- Их
- Там.
- следовательно
- они
- этой
- тысячи
- угрозы
- Через
- по всему
- время
- в
- Сегодняшних
- приняли
- инструменты
- к
- трассировка
- трек
- торговал
- традиционный
- трафик
- переведите
- путешественники
- лечить
- по-настоящему
- Доверие
- оборот
- напишите
- Великобритания
- В конечном счете
- под
- нижнее подчеркивание
- понимать
- понимание
- незамеченной
- единиц
- Провел на сайте
- использование
- используемый
- ценный
- ценностное
- различный
- очень
- Вид
- просматриваемые
- видимость
- летучий
- тома
- vs
- Уязвимый
- хотеть
- впустую
- способы
- we
- Недели
- были
- Что
- когда
- который
- в то время как
- КТО
- зачем
- широко
- будете
- в
- без
- слова
- Работа
- работавший
- Мир
- стоимость
- бы
- WSJ
- год
- являетесь
- ВАШЕ
- зефирнет