Оцінка якості даних: вимірювання успіху - DATAVERSITY

Оцінка якості даних: вимірювання успіху – DATAVERSITY

Мітка часу: 27 вересня 2023 р., 3:35
Вихідний вузол: 2903188
оцінка якості данихоцінка якості даних

Метою оцінки якості даних є не лише виявлення неправильних даних, але також оцінка шкоди, завданої бізнес-процесам, і впровадження коригувальних дій. Багато великих компаній намагаються підтримувати якість своїх даних. 

Важливо пам’ятати, що дані не завжди зберігаються та статичні, а періодично використовуються. Після створення дані завантажуються, коригуються, переформатуються, обмінюються та навіть знищуються. 

У разі неправильного виконання кожна дія загрожує негативним впливом на якість даних. У свою чергу, низька якість даних може призвести до вузьких місць і часто негативно впливає на рішення, які приймає організація. Без відповідної системи вимірювання дані низької якості ніколи не будуть помічені чи виправлені.

Багато компаній не знають, що мають проблеми з якістю даних. Оцінка якості даних є невеликою, але дуже важливою частиною максимізації ефективності бізнесу. Проблеми з якістю даних можуть спочатку помітити бізнес-операції організації або її ІТ-відділ. Початкові кроки у проведенні оцінки якості даних можна вважати «фазою усвідомлення». 

Оцінка якості даних підтримує розробку a стратегія даних, а добре організована стратегія даних вирівняє дані, підтримуючи цілі, цінності та цілі бізнесу.

Профілювання даних проти оцінки якості данихs

Профілювання даних часто вважається попереднім кроком до проведення оцінки якості даних, хоча деякі люди вважають, що обидва вони повинні виконуватися одночасно. Профілювання даних має справу з розумінням структури даних, а також їх змісту та взаємозв’язків. З іншого боку, оцінка якості даних оцінює та визначає проблеми організації з даними та наслідки цих проблем.

Корисні показники оцінки якості даних

Показники оцінки якості даних вимірюють, серед іншого, наскільки релевантні, надійні, точні та узгоджені дані організації. Залежно від типу галузі та цілей підприємства можуть знадобитися певні показники, щоб визначити, чи відповідають дані організації вимогам якості. Вимірювання якості даних, розуміння того, як використовуються показники даних і як функціонують інструменти та найкращі практики, є необхідним кроком, щоб стати керовані даними організації. 

Основні показники якості даних включають:

Відповідність: Дані можуть бути високої якості, але марними з точки зору допомоги організації в досягненні її цілей. Наприклад, бізнес, який зосереджується на продажу індивідуальних черевиків, буде зацікавлений у корисних даних про доставку, але не матиме інтересу до списку людей, які шукають товари для ремонту черевиків. Зберігання даних з туманною надією, що вони будуть актуальними пізніше, є поширеною помилкою. Метаплан пропонує програмне забезпечення для вимірювання релевантності.  

Точність: Точність, яку часто вважають найважливішим вимірюванням якості даних, слід вимірювати за допомогою документації джерела або іншого незалежного методу підтвердження. Показник точності також включає зміни стану даних, які відбуваються в реальному часі.

Своєчасність: Застарілі дані варіюються від марних до потенційно шкідливих. Наприклад, контактні дані клієнта, які ніколи не оновлюються, зашкодять маркетинговим кампаніям і рекламі. Існує також можливість доставки продуктів на стару, уже невірну адресу. Хороший бізнес вимагає оновлення всіх даних для ефективних бізнес-процесів.

Повнота: Повнота даних зазвичай визначається шляхом визначення того, чи є кожен із записів даних «повним». Неповні дані часто не дають корисної інформації про бізнес. У багатьох ситуаціях процес оцінювання повноти є суб’єктивним вимірюванням, яке виконує фахівець із обробки даних, а не програмне забезпечення для якості даних.

Цілісність: Цілісність даних описує загальну точність, послідовність і повноту даних протягом усього життєвого циклу. Цілісність даних також пов’язана з безпекою даних з точки зору відповідності нормативним вимогам щодо особистої конфіденційності та безпеки.

Послідовність: Різні версії тих самих даних можуть заплутати ведення бізнесу. Щоб уникнути плутанини, дані та інформація мають бути узгодженими в усіх системах підприємства. На щастя, програмне забезпечення доступне, тому кожну версію даних не потрібно порівнювати вручну. (Основні дані та його управління це варіант для централізації даних, що використовуються повторно, і уникнення кількох версій.)

Підготовка до оцінювання 

Оцінка якості даних буде більш ефективною та дасть кращі результати, якщо перед оцінкою буде створено список проблем і цілей. Створюючи цей список, пам’ятайте про довгострокові цілі організації та перераховуйте короткострокові цілі. Наприклад, довгострокову мету підвищення ефективності бізнесу можна розбити на більш дрібні цілі, такі як налагодження системи, щоб потрібні люди отримували правильні рахунки, і щоб усі адреси клієнтів були правильними тощо. 

Цей список також можна надати раді директорів як обґрунтування для ініціювання та оплати програмного забезпечення для оцінки якості даних або найму підрядника для проведення оцінки. Нижче наведено основні етапи створення списку.

  • Почніть зі складання списку проблем із якістю даних, які виникли за останній рік.
  • Проведіть тиждень або два, спостерігаючи за потоком даних і визначте, що виглядає сумнівним і чому.
  • Поділіться своїми спостереженнями з іншими менеджерами та співробітниками, отримуйте відгуки та коригуйте результати за допомогою відгуків.
  • Перегляньте список проблем із якістю даних і визначте, які є найпріоритетнішими, виходячи з того, як вони впливають на дохід.
  • Перепишіть список, щоб першочергові були вказані першими. (Цей список може бути наданий раді директорів і підряднику з оцінки якості даних після встановлення обсягу.)
  • Встановіть обсяг – які дані розглядатимуться під час оцінювання?
  • Визначте, хто використовує дані, і перевірте їхню поведінку щодо використання даних до та після оцінювання, щоб визначити, чи потрібно їм вносити зміни.

Платформи оцінки якості даних

Виконання оцінки якості даних вручну потребує стільки зусиль, що більшість керівників ніколи б не схвалили це. На щастя, існують платформи та рішення для якості даних. Деякі застосовують комплексний підхід, а інші зосереджуються на певних платформах чи інструментах. Платформи оцінки якості даних можуть допомогти організаціям впоратися зі зростаючими проблемами, з якими вони стикаються. 

Оскільки використання хмарних і периферійних обчислювальних сервісів розширюється, організації можуть використовувати платформи оцінки якості даних для аналізу, керування та очищення даних, отриманих із різних джерел, таких як електронна пошта, соціальні мережі та Інтернет речей. Деякі платформи оцінювання (до яких входять інформаційні панелі) обговорюються нижче.

TПлатформа Erwin Data Intelligence Platform використовує інструменти виявлення з підтримкою AI та ML для виявлення шаблонів даних і створює бізнес-правила для оцінки якості даних. Платформа Erwin Data Intelligence автоматизує оцінку якості даних, забезпечує постійну можливість спостереження за даними та включає детальні інформаційні панелі.

Платформа Acceldata Enterprise Data Observability Platform добре інтегрується з різноманітними технологіями та добре працює з загальнодоступними, гібридними та багатохмарними середовищами. Він забезпечує високоефективну інформаційну панель якості даних і використовує алгоритми автоматизації машинного навчання, щоб максимально підвищити ефективність ваших даних. Платформа Acceldata виявлятиме та виправлятиме проблеми на початку конвеєра даних, ізолюючи їх до того, як вони вплинуть на подальшу аналітику.

Інформаційний сервер IBM Infosphere для платформи якості даних надає широкий спектр інструментів якості даних, які допомагають аналізувати та постійно контролювати якість даних. Платформа IBM очистить і стандартизує дані під час аналізу та моніторингу якості даних, щоб зменшити кількість неправильних або суперечливих даних.

DataMatch Enterprise від Data Ladder має гнучку архітектуру, яка надає різноманітні інструменти, які можуть очищати та стандартизувати дані. Він може бути інтегрований у більшість систем і простий у використанні. DataMatch Enterprise це інструмент самообслуговування якості даних, який може ідентифікувати основні аномалії. Він вимірює точність, повноту, своєчасність тощо. Він також виконує детальне очищення, зіставлення та об’єднання даних.

Intellectyx виступає в якості підрядника для різноманітних послуг обробки даних, включаючи надання оцінок якості даних і рішень. Їх процес включає в себе:

  • Визначення потреб бізнесу
  • Визначення показників якості даних
  • Оцінка поточної якості даних
  • Розробка плану покращення

OpenRefine не є платформою оцінки якості даних, але це безкоштовний, потужний інструмент із відкритим вихідним кодом, призначений для роботи з брудними даними. Інструмент очистить дані, перетворивши їх у відповідний формат. Дані очищаються у вашій комп’ютерній системі, а не в хмарі для відмивання даних. 

Звіт про оцінку

Звіти про оцінку якості даних зазвичай розроблені для опису результатів оцінки, а також спостережень і рекомендацій. Звіт містить будь-які аномалії, які мали критичний вплив на організацію, а також рішення для виявлення та усунення цих аномалій. 

Звіт повинен містити:

  • Резюме: вступ у поєднанні з коротким описом звіту
  • Ключові висновки: проблеми з потоком даних і їхній вплив на бізнес
  • Використаний процес: опишіть програмне забезпечення та процес. (Якщо використовувався підрядник, він відповідає за звіт)
  • Оцінки та загальні оцінки (за випуск)
  • Рекомендації (за випуск)
  • Відкриті проблеми: будь-які невирішені проблеми
  • Висновок: очікувані результати для бізнесу після внесення змін, а також спостереження або поради щодо невирішених проблем

Зображення використовується за ліцензією Shutterstock.com

Часова мітка:

Більше від ПЕРЕДАЧА