Прогнозы в области управления данными на 2024 год: пять новых тенденций - DATAVERSITY

Переиздано Платоном

Читают: 0

Поскольку мы приближаемся к концу 2023 года, руководителям управления данными крайне важно посмотреть в зеркала заднего вида оценить и, при необходимости, усовершенствовать свои стратегии управления данными. Ясно одно; Если организации, ориентированные на данные, хотят добиться успеха в 2024 году, им нужно будет подготовиться к среде, в которой данные все более распространяются.

Учитывая это, мы видим, что в 2024 году появятся пять важных тенденций в области управления данными: антигравитация данных будет преобладать; важность информационных продуктов будет возрастать; организации научатся внедрять генеративный искусственный интеллект (GenAI) и успешно его использовать; организации смогут более эффективно управлять расходами на облако; а безопасность данных и управление будут упрощены.

Давайте более подробно рассмотрим каждую из этих тенденций по очереди:

Антигравитация данных будет преобладать

Понятие гравитации данных, которое представляет собой аналогию природы данных и их способности привлекать дополнительные приложения и услуги, больше не существует. Каждая организация, имеющая современное Стратегия данных для удовлетворения своих бизнес-потребностей требуется хранилище данных рядом с озером данных, если не несколько таких. За последние два десятилетия хранилища данных и озера данных стали популярными для решения проблем с хранилищами корпоративных данных, однако они создали еще более серьезные проблемы. Это связано с тем, что хранилища данных и озера данных состоят как из локальных, так и из облачных систем и часто географически разбросаны. Кроме того, хотя каждый поставщик облачных услуг пытается решать многие проблемы с данными и аналитикой самостоятельно, большинство организаций размещают свои данные и аналитику в мультиоблачной среде, выбирая продукты и услуги от двух или более поставщиков облачных услуг.

Вот почему антигравитация данных, когда данные и приложения остаются распределенными через региональные и облачные границы, станет новой нормой в 2024 году и в последующий период. Другими факторами, способствующими антигравитации данных, будут растущие затраты на репликацию данных, суверенитет данных, местные законы и правила управления данными, а также требования к ускоренной скорости получения аналитической информации. Поскольку тенденция к борьбе с гравитацией данных сохраняется, лидерам управления данными следует инвестировать в технологии, основанные на распределенном управлении данными.

Важность продуктов обработки данных будет возрастать

2024 год станет решающим годом для восхождения на вершину. сетка данных, который учитывает изначально распределенный характер данных. В отличие от традиционных централизованных парадигм, в которых данные хранятся и управляются центральной командой данных, которая предоставляет проекты данных бизнес-пользователям, сетка данных организована вокруг нескольких доменов данных, каждая из которых управляется основными бизнес-потребителями этих данных. В ячейке данных роль ИТ смещается в сторону обеспечения основы для работы предметных областей, т. е. создания и распространения продуктов данных по всему предприятию.

Поворотным моментом станет осознание того, что к информационным продуктам следует относиться с таким же уровнем важности, как и к любому другому продукту. Возьмем, к примеру, капсулу Тайленола: ее ценность заключается не только в самой капсуле, но и в комплексной упаковке, которая заслуживает доверия потребителей — от описания и предполагаемого использования до списка ингредиентов и мер безопасности. Аналогично, каталоги данных действуют как важнейшая «упаковка», превращающая необработанные данные в надежные, потребляемые активы.

В нашу эпоху, ориентированную на данные, недостаточно просто красиво упаковать данные; организациям необходимо улучшить весь опыт конечных пользователей. Повторяя лучшие практики гигантов электронной коммерции, современные платформы данных должны предлагать такие функции, как персонализированные рекомендации и основные сведения о популярных продуктах, а также укреплять доверие за счет одобрения пользователей и прозрачности происхождения данных. Более того, эти платформы должны облегчать запросы в реальном времени непосредственно из каталога данных и поддерживать интерактивный цикл обратной связи для запросов пользователей, запросов данных и изменений. Точно так же, как своевременная доставка имеет важное значение в электронной коммерции, быстрый и надежный доступ к данным становится незаменимым для организаций.

Организациям будет сложно одновременно внедрить GenAI и успешно его использовать

Организации сталкиваются с множеством проблем при попытке внедрить GenAI и модели больших языков (LLM), включая проблемы с качеством данных, управлением, соблюдением этических норм и управлением затратами. Каждое препятствие прямо или косвенно связано с общей стратегией управления данными организации, влияя на способность организации обеспечивать целостность данных, вводимых в модели ИИ, соблюдать сложные нормативные требования или облегчать интеграцию модели в существующие системы.

Организациям потребуется более эффективно управлять расходами на облако

Поскольку предприятия продолжают переносить операции с данными в облако, они сталкиваются с серьезным препятствием: неустанным и неустойчивым ростом расходов на облачные данные. В предстоящем году задача состоит не только в том, чтобы обуздать эти растущие расходы, но и в том, чтобы сделать это, сохраняя при этом высокое качество обслуживания и конкурентоспособность. Растущие затраты на облачный хостинг и управление данными не позволяют компаниям эффективно прогнозировать и составлять бюджеты, а ранее надежные затраты на локальное хранение данных оказались омрачены нестабильной структурой ценообразования в облаке.

Решение этой финансовой проблемы требует от компаний тщательного анализа затрат на облачные технологии и поиска путей повышения эффективности без ущерба для производительности. Это включает в себя детальное изучение моделей использования данных, выявление областей неэффективности и рассмотрение более экономичных вариантов хранения. Чтобы эффективно управлять затратами на облачные данные, компаниям необходимо сосредоточиться на вычислительных ресурсах, потребляемых запросами, и связанных с ними объемах исходящих данных, составлении таблиц использования наборов данных и оптимизации решений для хранения данных. Эти усилия усиливаются за счет принятия принципов финансовых операций (FinOps), которые сочетают финансовую отчетность с гибкой моделью расходов в облаке.

Регулярно отслеживая расходы, прогнозируя затраты и внедряя лучшие финансовые практики в управлении облаком, организации могут сбалансировать экономию затрат и операционную эффективность, гарантируя, что их стратегии обработки данных являются экономически и функционально надежными. В 2024 году мы увидим значительный рост использования информационных панелей FinOps для лучшего управления расходами на облачные данные.

Безопасность данных и управление необходимо будет упростить

Плохо интегрированные данные влияют на гибкость организации на многих уровнях, но, пожалуй, наиболее сильно это влияние ощущается в сфере безопасности и управления данными. Поскольку для индивидуального обновления множества разрозненных систем требуется время, невозможно обеспечить безопасность и управление всеми корпоративными системами одновременно.

Чтобы решить эту проблему, организации используют глобальные политики безопасности и управления данными. Глобальные политики безопасности данных могут основываться не только на ролях пользователей, но и на их местонахождении, поэтому человек в отпуске может не иметь доступа к данным из главного офиса. Глобальные политики управления данными также могут автоматически стандартизировать написание определенных слов в различных системах внутри компании.

Однако для синхронизации применения глобальных политик в реальном времени такие реализации безопасности и управления данными требуют основы логического подхода к управлению данными, и такой подход рассматривается в следующем разделе.

Будущее логично

Чтобы преодолеть проблемы, присущие каждой из этих пяти тенденций, организациям необходимо будет иметь возможность использовать стратегии управления данными, которые изначально разработаны для поддержки распределенных данных. Традиционные подходы к управлению данными полагаются на физическую репликацию данных из нескольких систем в центральный репозиторий, например хранилище данных или озеро данных, но такие подходы по определению, а также на практике не поддерживают распределенные по своей сути данные. Напротив, подходы к логическому управлению данными позволяют подключаться в реальном времени к разрозненным данным без репликации, чтобы поддерживать распределенные по своей сути данные.

В результате логическое управление данными останется актуальным в 2024 году и далее, поскольку оно позволяет каждой организации управлять распределенными данными наиболее эффективным и экономичным способом.