What Are Data Products And Why Do They Matter? - DATAVERSITY

Перевидано Платоном

читають: 0

Продукти даних – це програмне забезпечення у формі спеціальних інструментів і програм, призначених для підтримки даних, які використовуються як сервіс. Вони можуть бути такими ж простими та зрозумілими, як програма, яка перетворює набір даних у візуалізацію, або такими ж складними, як система машинного навчання на основі великих мовних моделей (LLM), як-от ChatGPT. Спільним для всіх продуктів обробки даних є те, що вони досягають конкретної мети шляхом застосування даних.

Одним із потенційно заплутаних аспектів технології є відмінність між продуктами даних і «дані як продукт”, яка поєднує інструменти обробки даних із стратегіями для задоволення потреб конкретних споживачів даних, будь то одна особа чи цілий відділ чи організація. Навпаки, продукти обробки даних служать сировиною, яку компанії можуть комбінувати унікальними способами для реалізації стратегій для досягнення своїх короткострокових і довгострокових цілей. Вони діють на рівні окремих осіб, команд, відділів, компаній і цілих галузей.

Що таке a Продукт даних?

Штучний інтелект та інші технології, що розвиваються, дозволяють організаціям отримувати інформацію зі своїх активів даних таким чином, щоб максимізувати цінність даних. Продукти даних служать засобом, за допомогою якого компанії перетворюють дані на дії, що підвищують їх ефективність, конкурентоспроможність і прибутковість. Колишній головний науковий співробітник США Діджей Патіл ввів термін "дані джиу-джитсу» у 2012 році як «мистецтво перетворювати дані на продукт».

Завдяки розумному застосуванню елементів даних джиу-джитсу дозволяє вирішувати важкорозв’язні ітераційні проблеми з даними, використовуючи «вагу» проблеми проти неї самої, подібно до того, як учасники джиу-джитсу намагаються використовувати вагу своїх опонентів на свою користь і на шкоду ворогам. . Стандартний підхід до вирішення проблеми, який полягає в прямій атаці з використанням різноманітних технічних знань, часто ускладнює проблему та ускладнює її вирішення.

Мета продуктів обробки даних — спростити вирішення проблем шляхом відповіді на просте запитання на початку: кому потрібен чи потрібен цей продукт? Щоб швидко відповісти на це запитання, розробники використовують ярлики, які можуть дійти до готової версії, або замінити їх більш складними підходами пізніше в процесі. Головне – почати просто, щоб не загрузнути на початку проекту.

Компоненти продуктів даних

Навіть найпростіші продукти обробки даних складаються з різноманітного списку елементів, які об’єднуються для підтримки рішень і вирішення бізнес-проблем. Це вісім ключових компонентів продукту даних:

Джерела даних мають бути надійними, доступними в режимі реального часу або пакетами, відповідати проблемі, що вирішується, і відповідати нормам захисту даних, таким як GDPR та HIPAA, а також з правовими та етичними стандартами.
Конвеєри даних автоматизувати будь-які необхідні перетворення даних (ETL, наприклад), масштабуються для розміщення зростаючих наборів даних, включають надійні інструменти обробки помилок і перевірки якості даних, а також є модульними для підтримки змін конфігурації.
зберігання даних має відповідати вимогам до продуктивності, горизонтально та вертикально масштабуватись без збоїв, застосовувати шифрування та контроль доступу, а також бути економічно ефективним, одночасно підтримуючи структуровані, напівструктуровані та неструктуровані типи даних.
Моделі даних і алгоритми надати точну інформацію та прогнози, перевірені за допомогою таких методів, як перехресна перевірка. Вони мають бути легкими для розуміння зацікавленими сторонами, ефективними з точки зору обчислень і простими в обслуговуванні.
Команда інтерфейс користувача має бути досить інтуїтивно зрозумілим, щоб вимагати мінімального навчання користувача. Він має використовувати візуалізацію та полегшувати взаємодію користувачів із даними, включаючи механізми зворотного зв’язку та підтримку кількох пристроїв.
API і кінцеві точки вимагають безпечної авторизації та автентифікації, обмежень на кількість викликів API від кожного користувача чи системи та достатньої документації розробника. Вони повинні підтримувати такі формати даних, як JSON та XML щоб забезпечити сумісність.
Моніторинг і журналювання у режимі реального часу дозволяє продуктам даних швидко виявляти та вирішувати проблеми. Адміністратори отримують сповіщення про проблеми з продуктивністю та помилки, а журнали аудиту допомагають компаніям відповідати вимогам. Показники продуктивності, які слід відстежувати, включають затримку, пропускну здатність і частоту помилок.
документація містить посібники користувача, технічну специфікацію, документацію для API, журнали змін і записи відповідності.

Приклади продуктів даних

Найпопулярнішим прикладом продукту даних може бути ChatGPT, безкоштовний інструмент на основі штучного інтелекту, який відповідає на прості та складні запитання в розмовній манері та вступає в діалог із користувачами, який дозволяє відповідати на запитання, визнає свої помилки та оскаржує неточності. ChatGPT кваліфікується як продукт даних, оскільки він залежить від a дуже великий набір текстових даних, хоча система набагато складніша, ніж типові продукти даних.

Однак у поточному стані ChatGPT не вистачає одного важливого аспекту продуктів даних: точності. Власник продукту даних несе відповідальність за забезпечення як позитивної взаємодії з користувачем, так і надійного вирішення проблеми, для вирішення якої розроблено продукт. Для цього потрібні найкращі практики в управлінні продуктами, а також послідовний і надійний доступ до аналізу, який підтримує бізнес-рішення.

Ці шість категорій продуктів даних продемонструвати використання технології в повсякденних продуктах:

Рекомендаційні двигуни такі компанії, як Amazon, Netflix і TripAdvisor, персоналізують свої відповіді, щоб посилити залучення клієнтів і підвищити рівень конверсії.
Інструменти прогнозної аналітики включають ті, що використовуються FICO, LinkedIn і Zillow, які визначають тенденції в даних і створюють прогнози на основі передових методів аналізу даних і моделювання.
API даних такі як Google Maps, LinkedIn Profiles і IO Weather, сприяють плавному обміну даними між різними системами. Поширеними форматами є репрезентативна передача стану (REST), простий протокол доступу до об’єктів (SOAP), XML-RPC і JSON-RPC.
Інформаційні панелі в реальному часі представляти дані візуально та автоматично оновлювати екрани користувачів, коли стає доступною нова інформація. Вони використовуються для моніторингу запасів, продажів і операційних даних для підтримки бізнес-рішень. Популярні інформаційні панелі включають Tableau, Microsoft BI і Zoho Analytics.
Особисті фінанси інструменти включати Розширення прав і можливостей (раніше Personal Capital), Quicken і You Need a Budget (YNAB), усі вони намагаються внести більше ясності та впевненості у фінансове планування окремих осіб.
Носимі вироби для моніторингу здоров'я такі як Apple Watch, FitBit і Continuous Glucose Meter від Dexcom виходять за рамки відстеження частоти пульсу, режиму сну та інших питань здоров’я, обмінюючись інформацією з постачальниками медичних послуг.

Чому продукти даних важливі

Продукти даних переваги споживачів даних кількома способами:

Вони швидше отримують інформацію, використовуючи готові продукти, замість того, щоб починати кожен проект з нуля.
Цілісність даних перевіряється заздалегідь, тому до продуктів закладено довіру.
Ситуаційна обізнаність у реальному часі підвищує цінність аналізу даних.
Можливість реагувати в режимі реального часу сприяє швидшому прийняттю обґрунтованих рішень.
Управління полегшується попередніми гарантіями Якість даних і відповідність.
Продукти полегшують пошук і доступ до даних із різних систем.

Організації бачать продукти обробки даних як ключ до підвищення ефективності та прибутковості:

Продукти даних допомагають зосередити компанію на позитивних результатах.
Вони покращують гнучкість організацій і поступово приносять користь.
Повторне використання продуктів даних максимізує цінність даних з дуже невеликими накладними витратами.
Архітектури даних робляться перспективними завдяки адаптивності продуктів обробки даних.
Менше питань виникає щодо достовірності та цілісності базових даних.
Бізнес та ІТ-відділи спілкуються однією мовою.

Можливо, найбільшою перевагою продуктів обробки даних для організацій є їх здатність розблокувати значення даних служачи клеєм, який об’єднує фізичні системи, моделювання даних, бізнес-процеси та випадки використання. Вони замінюють фрагментарний підхід, який багато компаній застосовують до своїх операцій з даними, а також децентралізують керування даними. Це звільняє основні дані, які можна застосовувати на льоту в різноманітних ситуаціях і умовах, з мінімальною попередньою обробкою або без неї.

За словами McKinsey, продукти обробки даних дозволяють створювати нові бізнес-випадки використання впроваджено на 90% швидше а загальна вартість володіння знизиться на 30%. Вони також зменшують ризики та час і гроші, витрачені на операції управління.

Усвідомлення переваг, обіцяних продуктами обробки даних, вимагає прийняття гнучкий підхід до управління даними що починається з малого, швидко випускається, повторюється та демонструє цінність продуктів. Додайте ще декілька можливостей із кожним випуском, щоб поступово підвищувати цінність продукту, щоб стимулювати впровадження та залучати більше інвестицій у нові продукти та варіанти використання. Щойно продукти обробки даних будуть інтегровані в повсякденні бізнес-процеси вашої компанії, інструменти почнуть продаватися, коли їхня цінність стане очевидною для користувачів і менеджерів.

Зображення використано за ліцензією Shutterstock