2024. aasta andmetrendid: andmete koostööst jagamisest tehisintellektiga juhitud operatsioonideni – DATAVERSITY

Taasavaldanud Platon

järgijaid: 0

Kiiresti areneval andmemaastikul on esilekerkivate suundumuste mõistmine ja tehnoloogiliste edusammude omaks võtmine võtmetähtsusega ees püsimiseks. Aastale 2024 lähenedes uuritakse selles artiklis andmete suundumusi, mis määravad järgmise aasta strateegilise maastiku.

Trend: fookus andmetele Sahistamine ja DAta Collaboratsioon

Andmete jagamise ja turvalise andmekoostöö parandamine osapoolte vahel on muutumas võtmevaldkonnaks. Sellised ettevõtted nagu Snowflake ja Databricks võtavad selle idee omaks ning see kogub erinevates tööstusharudes haaret.

Viimase kümne aasta jooksul digitaalse muundamise on viinud äriprotsesside ja süsteemide väiksemateks tükkideks lagunemiseni. Mõned neist osadest jäävad ettevõttesse, teised aga tellitakse välistelt pakkujatelt, luues keeruka ökosüsteemi. Näiteks globaalse maksete töötlemise digitaalse ümberkujundamise jõupingutused võivad nüüd puudutada 10 või 15 ettevõtet ja andmed levivad kõigi nende erinevate osapoolte vahel. Mitme teenusepakkuja andmed tuleb integreerida, et neid saaks terviklikult vaadata, ja see on väljakutse.

Seega ehitatakse andmetooteid üha enam erinevate osapoolte andmete ühendamise ideele. Eeldatakse, et see suundumus jätkub ka järgmistel aastatel ja selle protsessi ümber ehitatakse palju andmetooteid.

Trend: andmevõrgu tõus

Mõiste andmevõrk on viimase kolme aasta jooksul hoo sisse saanud. See toob esiplaanile kaks põhikomponenti. Esiteks tutvustab see ideed "andmed kui toode", mis hõlmab andmete pakendamist täpselt määratletud, leitavas vormingus, mida saab kasutada iseteeninduses ilma andmetootja otsese kaasamiseta. See kontseptsioon ei hõlma mitte ainult algandmeid, vaid ka analüütilisi mudeleid, näiteks neid, mida kasutatakse klientide vähenemise või pettuste ärahoidmiseks.

Teiseks võimaldab iseteenindusplatvormide kasutamine andmetoodete tootmiseks, mitte ärianalüüsiks, erinevatel äriüksustel luua andmetooteid ilma, et oleks vaja eraldi andmeplatvorme. See vähendab kulusid ja suurendab tõhusust.

Suured tehnoloogiapakkujad, sealhulgas pilveteenused, nagu Azure ja AWS, on järele jõudmas ja pakuvad lahendusi hajutatud andmete ja analüüsiplatvormide haldamiseks andmevõrgu viisil. See aitab ühendada andmeid erinevate platvormide ja tehnoloogiate vahel, pakkudes andmemaastikust tsentraliseeritud vaadet.

Trend: LLM-id mängivad andmetöötluse ja andmeoperatsioonide täiustamisel otsustavat rolli

Generatiivsetel AI-l ja suurte keelemudelitel (LLM) on potentsiaali andmeruumi muuta. See teisendus hõlmab GenAI mudelite juurutamist olemasolevates andmeinfrastruktuurides selliste ülesannete jaoks nagu andmetöötlus ja andmetoimingud.

Veelgi huvitavam on nende tehnoloogiate potentsiaal lahendada elementaarseid ülesandeid, nagu profiilide koostamine, modelleerimine ja andmete integreerimine, protsesside sujuvamaks muutmine ja andmekvaliteedi parandamine. Eeldatakse, et LLM-id mängivad andmetöötluse ja andmetoimingute tõhustamisel otsustavat rolli.

Trend: ettevõtted investeerivad andmete avastamise tööriistadesse ja andmekataloogidesse

Andmehaldus on viimastel aastatel arenenud. Varem oli see keskendunud andmete turvamisele ja riskide juhtimisele, kuid sellest ajast alates on see liikunud andmete laialdaselt kättesaadavaks tegemisele, minimeerides samas riske. Andmete kui toote kontseptsioon on suurim muudatus, kuna see nihutab vastutuse meeskondadele, kes andmeid toodavad, omavad või teenindavad.

Ettevõtted investeerivad andmete avastamise tööriistadesse ja andmekataloogidesse, et saada nähtavaks oma andmed, sealhulgas nende allikad, omandiõigus, struktuur ja kvaliteet. Andmehaldus hõlmab nüüd andmete nähtavaks, leitavaks, korduvkasutatavaks ja kasulikuks muutmist.

Trend: kasvav rõhk andmekvaliteedile

Andmete jälgitavus on viimase kahe-kolme aasta jooksul populaarsust kogunud, mis on tingitud andmeanalüütika laialdasemast kasutamisest ja vajadusest andmekvaliteedi järele. See pakub täpset arusaama andmetest käitusajal, aidates organisatsioonidel jälgida andmevoogu ning tuvastada andmekvaliteediga seotud probleeme, tööprobleeme ja andmesüsteemide muudatusi. See pakub inseneridele ja töötajatele palju väärtust nähtavuse ja toimuva mõistmise osas.

Andmete vaatlemise tööriistad, nagu Monte Carlo ja Soda, on välja töötatud, et rahuldada kasvavat nõudlust andmete kvaliteedi ja toimimise tõhususe parandamise järele.

Selle suundumuse teine aspekt on kasvav investeering andmeanalüütikasse. Andmeanalüütika valdkonnas sõltub tuletatud väärtus suuresti analüüsitavate andmete kvaliteedist. Selle tulemusena panevad organisatsioonid suuremat rõhku andmekvaliteedile. Selle protsessi käigus saab selgeks, et paljud andmekvaliteedi probleemid ei tulene täpselt määratletud ärireeglite või andmete valideerimisreeglite puudumisest. Selle asemel tekivad probleemid sageli töös esinevatest lahknevustest, nagu üksikisikute tehtud muudatused või teenusepakkujatelt saadud andmete ebatäpsused ja muud tegevusprobleemid.

Need on viis kõige olulisemat andmetrendi, millest 2024. aastal teadlikud olla. Millised neist lisaksid loendisse?