Розуміння впливу поганих даних - DATAVERSITY

Розуміння впливу поганих даних – DATAVERSITY

Мітка часу: 19 січня 2024 р., 3:35 ранку
Вихідний вузол: 3070625

Чи знаєте ви ціну низької якості даних? Нижче я досліджую важливість спостережуваності даних, як вона може пом’якшити ризики поганих даних і способи вимірювання рентабельності інвестицій. Розуміючи вплив поганих даних і впроваджуючи ефективні стратегії, організації можуть максимізувати переваги своїх ініціатив щодо якості даних. 

Дані стали невід’ємною частиною сучасного процесу прийняття рішень, тому якість даних має першочергове значення, щоб переконатися, що зацікавлені сторони в бізнесі роблять точні висновки. 

Але ось підступ, який скаже вам кожен сучасний керівник обробки даних: керувати якістю даних – це важко. Це потребує часу та зусиль. Крім того, ROI (повернення інвестицій) часто важко виміряти. 

Наскільки погані дані?

Погані дані можуть призвести до значних фінансових втрат. За підрахунками Gartner, щороку низька якість даних обходиться організаціям у середньому в $ 12.9 мільйонів. У 2022 р. Програмне забезпечення Unity повідомила про втрату 110 мільйонів доларів доходу та 4.2 мільярда доларів ринкової капіталізації. «Наслідки отримання недостовірних даних від великого клієнта», — заявила компанія. Подібним чином спричинені неправильні дані Equifax, публічне агентство кредитної звітності, щоб надсилати кредиторам неточні кредитні показники мільйони клієнтів. Нещодавно інцидент з даними спричинив величезні збої в авіасполученні Великобританії та Ірландії. Повідомляється, що понад 2,000 рейсів було скасовано, через що сотні тисяч мандрівників залишилися в безвиході, накопичені фінансові збитки авіакомпаній оцінюються в 126.5 мільйонів доларів.

Наслідки неправильних даних 

Дані є серцевиною кожного сучасного бізнесу. Основна відповідальність команди обробки даних полягає в створенні та підтримці продуктів обробки даних, які надаються внутрішнім і зовнішнім клієнтам, дозволяючи організації масштабуватися та досягати своїх цілей. 

Коли мова заходить про те, щоб ініціативи організації щодо даних були готові до успіху, деякі базові очікування від команди обробки даних можна підсумувати таким чином:

  • Пробіг: Дані – це послуга, тому важливо забезпечити їх доступність у разі потреби.
  • Безпека: Відповідність нормам (таким як GDPR або HIPAA). Команда відповідає за впровадження заходів і практик для захисту конфіденційної інформації та забезпечення конфіденційності даних.
  • Надійність: Як даних, так і платформи даних. Частково це покривається часом безвідмовної роботи, а також якістю та точністю даних у традиційному розумінні. 
  • Масштаб: Платформа даних повинна забезпечувати масштабованість, щоб відповідати зростаючим обсягам даних, кількості варіантів використання та потребам бізнесу.
  • Інновації: Дані повинні спонукати до інновацій, і в цій сфері важливо, щоб команда даних показувала приклад, вносячи інновації в практику обробки даних і поза ними. 

Досягнення якості даних завдяки спостережливості даних

Спостереженість даних — це рішення для проактивного моніторингу та підтримки працездатності даних протягом усього життєвого циклу. Впроваджуючи методи реєстрації, відстеження та моніторингу, організації отримують видимість потоків даних, швидко виявляють і усувають проблеми з якістю даних, а також запобігають перебоям у роботі панелей аналізу. Грамотність даних, що включає пошук, інтерпретацію та передачу даних, має важливе значення для тих, хто приймає рішення, щоб ефективно перетворити дані на бізнес-цінність. Культивування культури, що керується даними, і інвестування в правильні інструменти є вирішальними кроками до досягнення якості даних завдяки спостережливості даних. 

Кількісна оцінка ROI спостережуваності даних

Вимірювання рентабельності інвестицій спостережуваності даних допомагає керівникам підприємств зрозуміти цінність і переваги, пов’язані з інвестуванням у цю практику. Кілька показників, які піддаються кількісному вимірюванню, можуть служити відправною точкою для оцінки вартості поганих даних, включаючи частоту виникнення або кількість інцидентів на рік, час до виявлення та час до вирішення.

Вплив проблеми з якістю даних може змінюватись залежно від розміру та складності бізнес-операцій. Щоб оцінити збиток і створити вагомий аргумент на користь рішення для спостереження за даними, ми пропонуємо п’ять ключових показників, які спеціалісти з обробки даних можуть легко застосувати та контролювати, які можна використовувати для внутрішньої підтримки аргументації:

  1. Кількість і частота інцидентів: У той час як деякі компанії можуть стикатися з інцидентами даних щодня, інші можуть обійтися днями, якщо не тижнями, без них. Критичність інцидентів може варіюватися від чогось «незначного», наприклад, застарілих даних, пов’язаних із інформаційною панеллю, якою ніхто не користувався багато років, до проблеми дублювання даних, яка спричиняє перезарядку сервера та зрештою виходить із ладу (правдива історія, Netflix 2016). Ми вважаємо, що це часто пов’язано з: розміром і складністю платформи даних, галуззю компанії (деякі галузі за своєю суттю є більш зрілими, ніж інші), типом архітектури даних (централізована, децентралізована, гібридна) тощо. Документування інцидентів дасть краще уявлення про те, на що слід звернути увагу наступного разу, повторювані випадки часто є хорошим показником того, що щось під собою потребує пильнішої уваги.  
  2. Класифікація інциденту: Не всі інциденти даних мають однакову серйозність; деякі можуть бути незначними і їх легко пом’якшити, а інші можуть мати серйозні наслідки. Документування критичності інцидентів є важливим для забезпечення належної ескалації та визначення пріоритетів. Саме тут може бути корисним розподіл даних, оскільки він дозволяє оцінити подальший вплив інциденту, щоб краще зрозуміти критичність. Інцидент, який пов’язаний з улюбленою інформаційною панеллю генерального директора, або виробничою базою даних, або важливим продуктом даних, імовірно, матиме високу критичність. 
  3. Середній час виявлення (MTTD): Коли справа доходить до встановлення довіри до даних і команди обробки даних, кошмаром кожного фахівця з обробки даних є коли бізнес-стейкхолдери першими виявляють проблеми з якістю даних. Це може серйозно зашкодити довірі до команди та здатності компанії справді стати керованими даними. Коли ви починаєте документувати інциденти та класифікувати їх критичність, важливо також відстежувати, як вони були виявлені та час, який знадобився групі обробки даних, щоб їх підтвердити. Цей показник може бути гарним індикатором надійності вашого управління інцидентами, але його зниження також означає, що ви зменшуєте ризик того, що інцидент може завдати більшої шкоди. 
  4. Середній час до вирішення (MTTR): Що відбувається після повідомлення про інцидент? MTTR – це середній час, витрачений між тим, як стало відомо про інцидент з даними, і до його вирішення. Час вирішення значною мірою залежить від критичності інциденту та складності платформи даних, тому ми розглядаємо середнє значення для цілей цієї структури.
  5. Середній час до виробництва (MTTP) це середній час, необхідний для доставки нових продуктів даних або, іншими словами, середній час виходу продуктів даних на ринок. Це може бути час, витрачений аналітиком на «очищення» даних для наукової моделі даних. Фактично, згідно Forbes, на підготовку даних припадає близько 80% роботи спеціалістів із обробки даних. У світі, де ми хочемо розглядати дані як продукт, покращення якості даних може мати прямий вплив на скорочення часу виходу на ринок. 

На додаток до наведених вище кількісно вимірних показників, інші, які менш легко піддаються кількісному виміру, але такі ж важливі, варто враховувати, дивлячись на вартість поганих даних.

  • Розмивання довіри: У даних та команда даних. На мій погляд, це найнебезпечніший наслідок поганих даних, який може призвести до серйозних проблем, таких як плинність команди обробки даних або втрата довіри до здатності компанії стати керованою даними та йти в ногу з еволюцією цифрового ландшафту. І коли довіру зруйновано, повернути її дуже важко. У попередньому досвіді я працював із споживачами даних, які воліли б не використовувати дані та воліли б покладатися на «досвід» і «інтуїцію» в дуже нестабільному середовищі торгівлі акціями, ніж використовувати їх, знаючи, що вони мають високий шанс бути неточними . 
  • Втрата продуктивності: З поганими даними команди змушені вести перестрілку та виправляти помилки, щойно вони виникають. Це постійне гасіння пожеж не тільки виснажливо, але й контрпродуктивно. Коштовний час, який можна було б витратити на стратегічне планування та ініціативи зростання, витрачається на усунення несправностей, відволікаючи ресурси від більш важливих завдань.
  • Регуляторний і репутаційний ризик: Помилки у фінансовій звітності або неправильна обробка особистих даних можуть призвести до дорогих штрафів і судових баталій. Вирішення проблем відповідності значно знижує продуктивність, не кажучи вже про фінансовий тягар, який вони складають.
  • Погана ефективність бізнесу: Окрім втрати продуктивності в групі даних, погані дані можуть перешкоджати загальній ефективності бізнесу, оскільки компанія бореться з цифровою готовністю та довірою перед своїми клієнтами та стає вразливою до зовнішніх загроз. 

Проблеми з якістю даних можуть призвести до різноманітних проблем, зокрема до втрати довіри до даних, зниження продуктивності та морального духу команди, недотримання правил і зниження якості прийняття рішень. Ізольовані дані у відділах або бізнес-підрозділах ускладнюють отримання цілісного уявлення про ландшафт даних організації. Це може призвести до неефективного прийняття рішень, перешкодити культурі даних і поставити під загрозу дотримання таких нормативних актів, як GDPR і HIPAA. Більше того, команди обробки даних можуть розчаруватися, витрачаючи надто багато часу на вирішення проблем із даними, що негативно впливає на їхню задоволеність роботою та потенційно призводить до відтоку працівників. 

Правило 1х10х100

Правило 1x10x100, широко визнаний принцип управління інцидентами, підкреслює зростання витрат, пов’язаних із низькою якістю даних. Згідно з цим правилом, вартість вирішення проблеми якості даних у точці входу приблизно в 1 раз перевищує початкову вартість. Якщо проблема залишається непоміченою та поширюється всередині системи, витрати збільшуються приблизно в 10 разів, включаючи зусилля з виправлення та виправлення. Однак, якщо низька якість даних досягає кінцевого користувача або стадії прийняття рішення, витрати можуть різко зрости до приголомшливих 100-кратних початкових витрат через значні бізнес-наслідки, включаючи збої в роботі, втрачені можливості та незадоволення клієнтів. Це правило підкреслює експоненціальний вплив поганої якості даних, що робить вирішальним для організацій інвестувати в спостережуваність даних, що допомагає тримати проблеми, якщо вони виникають, ближче до першопричини, а не далі.

Висновок

Проблеми з якістю даних значно впливають на бізнес, призводячи до марної витрати ресурсів і втрачених можливостей. Інвестиції в можливість спостереження за даними є важливими для запобігання та пом’якшення ризиків, пов’язаних із поганими даними. Використовуючи показники, що піддаються кількісному вимірюванню, і враховуючи фактори, які не підлягають кількісному вимірюванню, організації можуть виміряти рентабельність інвестицій спостережуваності даних і продемонструвати їхню цінність особам, які приймають рішення. Забезпечення довіри до даних, сприяння прийняттю ефективних рішень у домені, дотримання нормативних актів і сприяння задоволеній команді обробки даних – усі ці важливі аспекти максимізації переваг ініціатив щодо якості даних. Спостереження за даними — це стратегічна інвестиція, яка забезпечує точність, надійність і використання даних у сучасному світі, що керується даними. 

Організації, які створюють багату практику спостережуваності, мають кращий огляд своїх переплетених середовищ, що призводить до меншої кількості збоїв, швидшого вирішення проблем, більшої впевненості в надійності своїх програм – і, зрештою, більшого доходу та щасливіших клієнтів.

Часова мітка:

Більше від ПЕРЕДАЧА