Datatrends voor 2024: van gezamenlijk gegevens delen tot AI-gestuurde operaties - DATAVERSITY

Datatrends voor 2024: van gezamenlijk gegevens delen tot AI-gestuurde operaties – DATAVERSITY

Tijdstempel: 14 december 2023 3:25 uur
Bronknooppunt: 3013137

In het snel evoluerende datalandschap zijn het begrijpen van opkomende trends en het omarmen van technologische ontwikkelingen essentieel om voorop te blijven lopen. Nu we 2024 naderen, onderzoekt dit artikel de datatrends die het strategische landschap voor het komende jaar zullen bepalen.

Trend: een focus op data Sharing en Data Csamenwerking

Het verbeteren van het delen van gegevens en veilige samenwerking op het gebied van gegevens tussen partijen wordt een sleutelgebied. Bedrijven als Snowflake en Databricks omarmen dit idee en het wint aan populariteit in verschillende sectoren. 

In het afgelopen decennium digitale transformatie heeft geleid tot het opsplitsen van bedrijfsprocessen en -systemen in kleinere stukken. Sommige van deze onderdelen blijven binnen het bedrijf, terwijl andere worden uitbesteed aan externe leveranciers, waardoor een complex ecosysteem ontstaat. De digitale transformatie-inspanningen van de wereldwijde betalingsverwerking kunnen nu bijvoorbeeld tien tot vijftien bedrijven raken, en de gegevens zijn verspreid over al deze verschillende partijen. Gegevens van meerdere aanbieders moeten worden geïntegreerd om holistisch te kunnen worden bekeken, en dit is een uitdaging.

Dataproducten worden dus steeds vaker gebouwd rond het idee om gegevens van verschillende partijen samen te voegen. Deze trend zal zich naar verwachting de komende jaren voortzetten en er zullen veel dataproducten rond dit proces worden gebouwd.

Trend: de opkomst van datamesh

Het concept van gegevensnetwerk heeft de afgelopen drie jaar aan populariteit gewonnen. Het brengt twee belangrijke componenten naar de voorgrond. Ten eerste introduceert het het idee van ‘data als product’, waarbij data worden verpakt in een goed gedefinieerd, vindbaar formaat dat kan worden gebruikt op een selfservice-manier, zonder directe tussenkomst van de dataproducent. Dit concept omvat niet alleen ruwe gegevens, maar ook analytische modellen, zoals die worden gebruikt voor klantenverloop of fraudepreventie.

Ten tweede stelt het gebruik van selfserviceplatforms voor het produceren van dataproducten, en niet voor business intelligence, verschillende bedrijfseenheden in staat dataproducten te creëren zonder dat er aparte dataplatforms nodig zijn. Dit verlaagt de kosten en verhoogt de efficiëntie.

Grote technologieleveranciers, waaronder cloudservices als Azure en AWS, zijn bezig met een inhaalslag en bieden oplossingen aan om gedistribueerde data- en analyseplatforms op een data-mesh-manier te beheren. Dit helpt om gegevens op verschillende platforms en technologieën met elkaar te verbinden, waardoor een gecentraliseerd beeld van het datalandschap ontstaat.

Trend: LLM's zullen een cruciale rol spelen bij het verbeteren van data-engineering en data-operaties

Generatieve AI en grote taalmodellen (LLM) hebben het potentieel om de dataruimte te transformeren. Deze transformatie omvat de inzet van GenAI-modellen binnen bestaande data-infrastructuren voor taken als data-engineering en data-operaties. 

Nog interessanter is het potentieel van deze technologieën om rudimentaire taken op te lossen, zoals profilering, modellering en integratie van gegevens, het stroomlijnen van processen en het verbeteren van de gegevenskwaliteit. Van LLM's wordt verwacht dat ze een cruciale rol spelen bij het verbeteren van data-engineering en data-operaties.

Trend: Bedrijven zullen investeren in tools voor het ontdekken van gegevens en gegevenscatalogi

Data Governance is de afgelopen jaren geëvolueerd. Voorheen was het gericht op het beveiligen van gegevens en het beheersen van risico's, maar sindsdien is het verschoven naar het breed beschikbaar maken van gegevens en het minimaliseren van risico's. Het concept van data-als-product is de grootste verandering, omdat het de verantwoordelijkheid verschuift naar de teams die de data produceren, bezitten of bedienen.

Bedrijven investeren in tools voor het ontdekken van data en datacatalogi om inzicht te krijgen in hun data, inclusief de bronnen, eigendom, structuur en kwaliteit ervan. Data Governance omvat nu het zichtbaar, vindbaar, herbruikbaar en bruikbaar maken van gegevens. 

Trend: groeiende nadruk op gegevenskwaliteit 

Waarneembaarheid van gegevens is de afgelopen twee of drie jaar aan populariteit gewonnen, gedreven door het toegenomen gebruik van data-analyse en de behoefte aan gegevenskwaliteit. Het biedt een gedetailleerd inzicht in gegevens tijdens runtime, waardoor organisaties de gegevensstroom kunnen volgen en problemen met de gegevenskwaliteit, operationele problemen en wijzigingen in gegevenssystemen kunnen identificeren. Het biedt veel waarde voor ingenieurs en operationele mensen in termen van zichtbaarheid en begrip van wat er aan de hand is.

Tools voor het observeren van gegevens, zoals Monte Carlo en Soda, zijn ontstaan ​​om tegemoet te komen aan de groeiende vraag naar verbeterde gegevenskwaliteit en operationele efficiëntie.

Een ander aspect van deze trend zijn de toenemende investeringen in data-analyse. Op het gebied van data-analyse hangt de afgeleide waarde sterk af van de kwaliteit van de gegevens die worden geanalyseerd. Als gevolg hiervan leggen organisaties meer nadruk op gegevenskwaliteit. Tijdens dit proces wordt het duidelijk dat veel problemen met de gegevenskwaliteit niet voortkomen uit het ontbreken van goed gedefinieerde bedrijfsregels of validatieregels voor de gegevens. In plaats daarvan komen problemen vaak voort uit operationele discrepanties, zoals wijzigingen die door individuen zijn aangebracht of onnauwkeurigheden in gegevens die van providers zijn ontvangen, naast andere operationele uitdagingen.

Dit zijn vijf van de belangrijkste datatrends waar u in 2024 rekening mee moet houden. Welke zou u aan de lijst toevoegen?

Tijdstempel:

Meer van DATAVERSITEIT