Tendințe de date 2024: de la partajarea în colaborare a datelor la operațiuni bazate pe inteligență artificială - DATAVERSITY

Republicat de Platon

Urmaritori: 0

În peisajul datelor cu evoluție rapidă, înțelegerea tendințelor emergente și îmbrățișarea progreselor tehnologice sunt esențiale pentru a rămâne în avans. Pe măsură ce ne apropiem de 2024, acest articol explorează tendințele de date care vor defini peisajul strategic pentru anul viitor.

Trend: O concentrare pe date Shering și Dla o Ccolaborare

Îmbunătățirea schimbului de date și colaborarea securizată a datelor între părți devine un domeniu cheie. Companii precum Snowflake și Databricks îmbrățișează această idee și câștigă acțiune în diverse industrii.

În ultimul deceniu, transformare digitală a dus la defalcarea proceselor și sistemelor de afaceri în bucăți mai mici. Unele dintre aceste piese rămân în cadrul companiei, în timp ce altele sunt externalizate către furnizori externi, creând un ecosistem complex. De exemplu, eforturile de transformare digitală ale procesării globale a plăților pot atinge acum 10 sau 15 companii, iar datele sunt răspândite în toate aceste părți diferite. Datele de la mai mulți furnizori trebuie să fie integrate pentru a fi vizualizate holistic, iar aceasta este o provocare.

Deci, produsele de date sunt construite din ce în ce mai mult în jurul ideii de a fuziona datele între diferite părți. Se așteaptă ca această tendință să continue în următorii câțiva ani și multe produse de date vor fi construite în jurul acestui proces.

Tendință: creșterea rețelei de date

Conceptul de rețea de date a câștigat acțiune în ultimii trei ani. Aduce două componente cheie în prim plan. În primul rând, introduce ideea de „date ca produs”, care implică ambalarea datelor într-un format bine definit, ușor de descoperit, care poate fi utilizat într-un mod de autoservire, fără implicarea directă a producătorului de date. Acest concept include nu numai date brute, ci și modele analitice, cum ar fi cele utilizate pentru retragerea clienților sau prevenirea fraudei.

În al doilea rând, utilizarea platformelor de autoservire pentru producerea de produse de date, nu pentru business intelligence, permite diferitelor unități de afaceri să creeze produse de date fără a fi nevoie de platforme de date separate. Acest lucru reduce costurile și crește eficiența.

Furnizorii majori de tehnologie, inclusiv servicii cloud precum Azure și AWS, ajung din urmă și oferă soluții pentru gestionarea datelor distribuite și a platformelor de analiză într-o rețea de date. Acest lucru ajută la conectarea datelor pe diverse platforme și tehnologii, oferind o vedere centralizată a peisajului datelor.

Tendință: LLM-urile vor juca un rol esențial în îmbunătățirea ingineriei datelor și a operațiunilor de date

AI generativă și modelele de limbaj mari (LLM) au potențialul de a transforma spațiul de date. Această transformare include implementarea modelelor GenAI în infrastructurile de date existente pentru sarcini precum ingineria datelor și operațiunile de date.

Și mai interesant este potențialul acestor tehnologii de a rezolva sarcini rudimentare, cum ar fi crearea de profiluri, modelarea și integrarea datelor, eficientizarea proceselor și îmbunătățirea calității datelor. LLM-urile sunt de așteptat să joace un rol crucial în îmbunătățirea ingineriei datelor și a operațiunilor de date.

Tendință: Companiile vor investi în instrumente de descoperire a datelor și cataloage de date

Guvernarea datelor a evoluat în ultimii ani. Anterior, s-a concentrat pe securizarea datelor și pe gestionarea riscurilor, dar de atunci s-a mutat spre a face datele disponibile pe scară largă, reducând în același timp riscurile. Conceptul de date ca produs este cea mai mare schimbare, deoarece transferă responsabilitatea către echipele care produc, dețin sau deservesc datele.

Companiile investesc în instrumente de descoperire a datelor și cataloage de date pentru a obține vizibilitate asupra datelor lor, inclusiv a surselor, proprietății, structurii și calității acestora. Guvernarea datelor implică acum ca datele să fie vizibile, descoperite, reutilizabile și utile.

Tendință: accent în creștere pe calitatea datelor

Observabilitatea datelor a câștigat popularitate în ultimii doi sau trei ani, datorită utilizării crescute a analizei datelor și nevoia de calitate a datelor. Oferă o înțelegere granulară a datelor în timpul execuției, ajutând organizațiile să urmărească fluxul de date și să identifice problemele legate de calitatea datelor, problemele operaționale și modificările sistemelor de date. Oferă multă valoare inginerilor și oamenilor operaționali în ceea ce privește vizibilitatea și înțelegerea a ceea ce se întâmplă.

Instrumente de observabilitate a datelor, cum ar fi Monte Carlo și Soda, au apărut pentru a răspunde cererii tot mai mari de îmbunătățire a calității datelor și a eficienței operaționale.

Un alt aspect al acestei tendințe este investiția în creștere în analiza datelor. În domeniul analizei datelor, valoarea derivată depinde în mare măsură de calitatea datelor analizate. Ca rezultat, organizațiile pun un accent mai mare pe calitatea datelor. În timpul acestui proces, devine evident că multe probleme de calitate a datelor nu provin din absența unor reguli de afaceri bine definite sau a unor reguli de validare pentru date. În schimb, problemele provin adesea din discrepanțe operaționale, cum ar fi modificările efectuate de persoane sau inexactitățile datelor primite de la furnizori, printre alte provocări operaționale.

Acestea sunt cinci dintre cele mai importante tendințe de date de care trebuie să fii conștient în 2024. Pe care le-ai adăuga pe listă?