Trendy w danych na rok 2024: od wspólnego udostępniania danych do operacji opartych na sztucznej inteligencji - DATAVERSITY

Opublikowane ponownie przez Plato

Obserwuje: 0

W szybko zmieniającym się krajobrazie danych zrozumienie pojawiających się trendów i wykorzystanie postępu technologicznego jest kluczem do pozostania na czele. Gdy zbliżamy się do roku 2024, w tym artykule przyjrzymy się trendom danych, które określą krajobraz strategiczny na nadchodzący rok.

Trend: skupienie się na danych Szając i DAta Cpraca

Poprawa udostępniania danych i bezpieczna współpraca w zakresie danych między stronami staje się kluczowym obszarem. Firmy takie jak Snowflake i Databricks wykorzystują ten pomysł i zyskuje on na popularności w różnych branżach.

Przez ostatnią dekadę, transformacja cyfrowy doprowadziło do rozpadu procesów i systemów biznesowych na mniejsze części. Niektóre z tych elementów pozostają w firmie, inne są zlecane zewnętrznym dostawcom, tworząc złożony ekosystem. Na przykład wysiłki związane z transformacją cyfrową globalnego przetwarzania płatności mogą obecnie obejmować 10 lub 15 firm, a dane są rozproszone pomiędzy wszystkimi tymi różnymi stronami. Aby można było na nie spojrzeć całościowo, należy zintegrować dane od wielu dostawców, co stanowi wyzwanie.

Dlatego produkty oparte na danych są coraz częściej budowane w oparciu o koncepcję łączenia danych pochodzących od różnych stron. Oczekuje się, że tendencja ta utrzyma się przez kilka następnych lat, a wiele produktów związanych z danymi zostanie zbudowanych wokół tego procesu.

Trend: rozwój siatki danych

Pojęcie siatka danych zyskał na popularności w ciągu ostatnich trzech lat. Na pierwszy plan wysuwają się dwa kluczowe elementy. Po pierwsze, wprowadza ideę „danych jako produktu”, która polega na pakowaniu danych w dobrze zdefiniowany, możliwy do odnalezienia format, z którego można korzystać w sposób samoobsługowy, bez bezpośredniego zaangażowania producenta danych. Koncepcja ta obejmuje nie tylko surowe dane, ale także modele analityczne, takie jak te wykorzystywane do utraty klientów czy zapobiegania oszustwom.

Po drugie, wykorzystanie platform samoobsługowych do tworzenia produktów danych, a nie do analityki biznesowej, umożliwia różnym jednostkom biznesowym tworzenie produktów związanych z danymi bez potrzeby stosowania oddzielnych platform danych. Zmniejsza to koszty i zwiększa wydajność.

Główni dostawcy technologii, w tym usługi w chmurze, takie jak Azure i AWS, nadrabiają zaległości i oferują rozwiązania do zarządzania rozproszonymi danymi i platformami analitycznymi w sposób siatka danych. Pomaga to łączyć dane na różnych platformach i technologiach, zapewniając scentralizowany widok krajobrazu danych.

Trend: LLM odegrają kluczową rolę w usprawnianiu inżynierii danych i operacji na danych

Generatywna sztuczna inteligencja i modele wielkojęzykowe (LLM) mają potencjał, aby przekształcić przestrzeń danych. Ta transformacja obejmuje wdrażanie modeli GenAI w istniejących infrastrukturach danych do zadań takich jak inżynieria danych i operacje na danych.

Jeszcze bardziej interesujący jest potencjał tych technologii w zakresie rozwiązywania podstawowych zadań, takich jak profilowanie, modelowanie i integrowanie danych, usprawnianie procesów i poprawa jakości danych. Oczekuje się, że LLM odegrają kluczową rolę w usprawnianiu inżynierii danych i operacji na danych.

Trend: firmy będą inwestować w narzędzia do odkrywania danych i katalogi danych

Zarządzanie danymi ewoluowało w ciągu ostatnich kilku lat. Wcześniej skupiano się na zabezpieczaniu danych i zarządzaniu ryzykiem, ale od tego czasu przestawiło się na szerokie udostępnianie danych przy jednoczesnej minimalizacji ryzyka. Największą zmianą jest koncepcja danych jako produktu, ponieważ przenosi odpowiedzialność na zespoły, które produkują, posiadają lub udostępniają dane.

Firmy inwestują w narzędzia do odkrywania danych i katalogi danych, aby uzyskać wgląd w swoje dane, w tym w ich źródła, własność, strukturę i jakość. Zarządzanie danymi obejmuje obecnie zapewnianie widoczności, wykrywalności, ponownego wykorzystania i użyteczności danych.

Trend: rosnący nacisk na jakość danych

Możliwość obserwowania danych zyskała popularność w ciągu ostatnich dwóch lub trzech lat ze względu na zwiększone wykorzystanie analityki danych i potrzebę zapewnienia jakości danych. Oferuje szczegółowe zrozumienie danych w czasie wykonywania, pomagając organizacjom śledzić przepływ danych i identyfikować problemy z jakością danych, problemy operacyjne i zmiany w systemach danych. Zapewnia inżynierom i pracownikom operacyjnym dużą wartość w zakresie widoczności i zrozumienia tego, co się dzieje.

Aby sprostać rosnącemu zapotrzebowaniu na lepszą jakość danych i wydajność operacyjną, pojawiły się narzędzia umożliwiające obserwację danych, takie jak Monte Carlo i Soda.

Kolejnym aspektem tego trendu są rosnące inwestycje w analitykę danych. W dziedzinie analizy danych uzyskana wartość w dużym stopniu zależy od jakości analizowanych danych. W rezultacie organizacje kładą większy nacisk na jakość danych. W trakcie tego procesu staje się oczywiste, że wiele problemów z jakością danych nie wynika z braku dobrze zdefiniowanych reguł biznesowych lub zasad walidacji danych. Zamiast tego problemy często wynikają z rozbieżności operacyjnych, takich jak zmiany wprowadzone przez osoby fizyczne lub niedokładności w danych otrzymanych od dostawców, a także innych wyzwań operacyjnych.

Oto pięć najważniejszych trendów danych, o których warto wiedzieć w 2024 roku. Które z nich dodałbyś do listy?