Razumevanje vpliva slabih podatkov - DATAVERSITY

Razumevanje vpliva slabih podatkov – DATAVERSITY

Časovni žig: 19. januar 2024 3
Izvorno vozlišče: 3070625

Ali poznate stroške slabe kakovosti podatkov? Spodaj raziskujem pomen opazljivosti podatkov, kako lahko ublaži tveganje slabih podatkov in načine za merjenje donosnosti naložbe. Z razumevanjem vpliva slabih podatkov in izvajanjem učinkovitih strategij lahko organizacije povečajo koristi svojih pobud za kakovost podatkov. 

Podatki so postali sestavni del sodobnega odločanja, zato je kakovost podatkov bistvenega pomena za zagotovitev pravilnih zaključkov poslovnih deležnikov. 

Toda tukaj je ulov, ki vam ga bo povedal vsak sodobni vodja podatkov: upravljanje kakovosti podatkov je težko. Potrebuje čas in trud. Poleg tega je ROI (donosnost naložbe) pogosto težko izmeriti. 

Kako slabi so slabi podatki?

Slabi podatki lahko povzročijo znatne finančne izgube. Gartner ocenjuje, da vsako leto slaba kakovost podatkov organizacije stane v povprečju $ 12.9 milijonov. Leta 2022 je Programska oprema Unity je poročal o izgubi 110 milijonov dolarjev prihodkov in 4.2 milijarde dolarjev tržne kapitalizacije. "Posledice zaužitja slabih podatkov velike stranke," je navedlo podjetje. Podobno so povzročili slabi podatki Equifax, agencija za poročanje o kreditih, ki kotira na borzi, da posojilodajalcem pošilja netočne kreditne ocene milijoni strank. Nedavno je podatkovni incident povzročil velike motnje v letalskem prometu Združenega kraljestva in Irske. Poročajo, da je bilo odpovedanih več kot 2,000 letov, zaradi česar je obtičalo več sto tisoč potnikov, akumulirana finančna izguba letalskih družb je ocenjena na 126.5 milijona dolarjev.

Posledice slabih podatkov 

Podatki so v središču vsakega sodobnega podjetja. Ključna odgovornost podatkovne skupine je zgraditi in vzdrževati podatkovne izdelke, ki se strankam ponujajo znotraj in zunaj, hkrati pa organizaciji omogočiti, da se poveča in doseže svoje cilje. 

Ko gre za zagotavljanje, da so podatkovne pobude organizacije pripravljene na uspeh, je nekaj osnovnih pričakovanj podatkovne ekipe mogoče povzeti na naslednji način:

  • Potek: Podatki so storitev, zato je ključnega pomena zagotoviti, da so na voljo, ko je to potrebno.
  • Varnost: Skladnost s predpisi (kot je GDPR ali HIPAA). Ekipa je odgovorna za izvajanje ukrepov in praks za zaščito občutljivih informacij in ohranjanje zasebnosti podatkov.
  • Zanesljivost: Tako podatkov kot podatkovne platforme. Del tega je pokrit s časom delovanja, pa tudi s kakovostjo in natančnostjo podatkov v tradicionalnem smislu. 
  • Merilo: Podatkovna platforma mora omogočati razširljivost, da se prilagodi naraščajočim količinam podatkov, številu primerov uporabe in potrebam podjetja.
  • Inovacije: Podatki bi morali spodbujati inovacije in to je področje, kjer je pomembno, da ekipa za podatke daje zgled tako, da vnaša inovacije v podatkovne prakse in zunaj njih. 

Doseganje kakovosti podatkov s pomočjo opazljivosti podatkov

Opazljivost podatkov je rešitev za proaktivno spremljanje in vzdrževanje zdravja podatkov skozi njihov življenjski cikel. Z implementacijo tehnik beleženja, sledenja in spremljanja organizacije pridobijo vpogled v podatkovne tokove, hitro prepoznajo in odpravijo težave s kakovostjo podatkov ter preprečijo motnje na analitičnih nadzornih ploščah. Podatkovna pismenost, ki vključuje pridobivanje, interpretacijo in sporočanje podatkov, je bistvenega pomena za odločevalce, da podatke učinkovito pretvorijo v poslovno vrednost. Gojenje kulture, ki temelji na podatkih, in vlaganje v prava orodja sta ključna koraka k doseganju kakovosti podatkov s pomočjo opazovanja podatkov. 

Kvantificiranje ROI opazljivosti podatkov

Merjenje donosnosti naložbe v opazljivost podatkov pomaga vodjem podjetij razumeti vrednost in koristi, povezane z vlaganjem v to prakso. Več merljivih meritev lahko služi kot izhodišče za ocenjevanje stroškov slabih podatkov, vključno s stopnjo pojavljanja ali številom incidentov na leto, časom do odkrivanja in časom do razrešitve.

Vpliv težave s kakovostjo podatkov se lahko razlikujejo glede na velikost in kompleksnost poslovanja. Da bi ocenili škodo in zgradili močan primer za rešitev za opazovanje podatkov, predlagamo pet ključnih meritev, ki jih lahko strokovnjaki za obdelavo podatkov preprosto implementirajo in spremljajo ter se lahko uporabijo za interno podporo primeru:

  1. Število in pogostost incidentov: Medtem ko se lahko nekatera podjetja vsakodnevno srečujejo s podatkovnimi incidenti, lahko pri drugih minejo dnevi – če ne tedni – brez njih. Kritičnost incidentov se lahko razlikuje od nečesa »manjšega«, kot so zastareli podatki, povezani z nadzorno ploščo, ki je že dolgo ni nihče uporabljal, do težave s podvajanjem podatkov, zaradi katere se strežnik preobremeni in nazadnje odpove (resnična zgodba, Netflix 2016). Ugotavljamo, da je pogosto povezan z: velikostjo in kompleksnostjo podatkovne platforme, panogo podjetja (nekatere panoge so same po sebi bolj podatkovno zrele od drugih), vrsto podatkovne arhitekture (centralizirana, decentralizirana, hibridna) itd. Dokumentiranje incidentov bo dalo boljša ideja o tem, kaj iskati naslednjič, ko pride do enega, ponavljajoči se incidenti so pogosto dober pokazatelj, da je treba nečemu spodaj posvetiti več pozornosti.  
  2. Razvrstitev incidenta: Niso vsi podatkovni incidenti enake resnosti; nekateri so lahko manjši in jih je zlahka ublažiti, drugi pa imajo lahko resne posledice. Dokumentiranje kritičnosti incidentov je pomembno za zagotovitev pravilne eskalacije in prednostnega razvrščanja. Tu je lahko ključnega pomena podatkovna linija, saj omogoča oceno nadaljnjega vpliva incidenta za boljše razumevanje kritičnosti. Incident, ki je povezan z direktorjevo najljubšo nadzorno ploščo ali produkcijsko zbirko podatkov ali pomembnim podatkovnim izdelkom, bo verjetno zelo kritičen. 
  3. Povprečni čas do zaznave (MTTD): Ko gre za izgradnjo zaupanja v podatke in podatkovno ekipo, je nočna mora vsakega skrbnika podatkov, ko poslovni deležniki prvi odkrijejo težave s kakovostjo podatkov. To lahko resnično škodi verodostojnosti ekipe in sposobnosti podjetja, da resnično postane vodeno na podatkih. Ko začnete dokumentirati incidente in razvrščati njihovo kritičnost, je pomembno, da spremljate tudi, kako so bili odkriti in čas, ki je bil potreben, da jih je podatkovna skupina potrdila. Ta metrika je lahko dober pokazatelj robustnosti vašega upravljanja incidentov, vendar tudi zmanjšanje pomeni, da zmanjšate tveganje, da bi incident povzročil večjo škodo. 
  4. Povprečni čas do razrešitve (MTTR): Kaj se zgodi, ko je incident prijavljen? MTTR je povprečni čas, porabljen med odkritjem podatkovnega incidenta in njegovo razrešitvijo. Na čas rešitve močno vplivata kritičnost incidenta in kompleksnost podatkovne platforme, zato za namene tega okvira upoštevamo povprečje.
  5. Povprečni čas do proizvodnje (MTTP) je povprečni čas, potreben za pošiljanje novih podatkovnih izdelkov ali, z drugimi besedami, povprečni čas za trženje podatkovnih izdelkov. To bi lahko bil čas, ki ga analitik porabi za "čiščenje" podatkov za model podatkovne znanosti. Pravzaprav glede na Forbes, priprava podatkov predstavlja približno 80 % dela podatkovnih znanstvenikov. V svetu, kjer želimo podatke obravnavati kot izdelek, lahko izboljšanje kakovosti podatkov neposredno vpliva na skrajšanje časa do trženja. 

Poleg zgornjih merljivih meritev je vredno upoštevati druge, ki jih je težje merljivo, vendar enako pomembne, ko gledamo na stroške slabih podatkov.

  • Erozija zaupanja: V podatkih in podatkovna ekipa. To je po mojem mnenju najnevarnejša posledica slabih podatkov, ki lahko povzroči večje težave, kot je menjava podatkovne ekipe ali izguba zaupanja v sposobnost podjetja, da postane podatkovno vodeno in sledi razvijajočemu se digitalnemu okolju. In ko je zaupanje enkrat zlomljeno, ga je zelo težko ponovno pridobiti. V prejšnjih izkušnjah sem se ukvarjal s potrošniki podatkov, ki raje ne bi uporabljali podatkov in bi se raje zanašali na "izkušnje" in "občutek" v zelo nestanovitnem okolju trgovanja z delnicami, kot da bi jih uporabljali, vedoč, da obstaja velika verjetnost, da so netočni . 
  • Izguba produktivnosti: S slabimi podatki so ekipe prisiljene gasiti in popravljati napake, ko se pojavijo. To nenehno gašenje ni samo izčrpavajoče, ampak tudi kontraproduktivno. Dragocen čas, ki bi ga lahko porabili za strateško načrtovanje in pobude za rast, se zapravi za odpravljanje težav, s čimer se sredstva preusmerijo od bolj kritičnih nalog.
  • Regulatorno tveganje in tveganje za ugled: Napake v finančnem poročanju ali napačno ravnanje z osebnimi podatki lahko povzročijo drage globe in pravne bitke. Ukvarjanje s težavami skladnosti močno zmanjša produktivnost, da ne omenjamo finančnega bremena, ki ga predstavljajo.
  • Slaba poslovna uspešnost: Poleg izgube produktivnosti znotraj podatkovne ekipe lahko slabi podatki ovirajo splošno poslovno uspešnost, saj se podjetje bori z digitalno pripravljenostjo in verodostojnostjo pred svojimi strankami ter postane ranljivo za zunanje grožnje. 

Težave s kakovostjo podatkov lahko povzročijo različne težave, vključno z izgubo zaupanja v podatke, zmanjšano produktivnostjo in moralo ekipe, neupoštevanjem predpisov in zmanjšano kakovostjo odločanja. Zaradi ločenih podatkov znotraj oddelkov ali poslovnih enot je težko pridobiti celovit pogled na podatkovno pokrajino organizacije. To lahko privede do neučinkovitega odločanja, ovira podatkovno kulturo in ogrozi skladnost s predpisi, kot sta GDPR in HIPAA. Poleg tega lahko podatkovne ekipe postanejo razočarane, če porabijo preveč časa za odpravljanje težav s podatki, kar negativno vpliva na njihovo zadovoljstvo pri delu in lahko povzroči odliv zaposlenih. 

Pravilo 1x10x100

Pravilo 1x10x100, splošno priznano načelo pri upravljanju incidentov, poudarja naraščajoče stroške, povezane s slabo kakovostjo podatkov. V skladu s tem pravilom je strošek obravnave težave s kakovostjo podatkov na vstopni točki približno 1x prvotni strošek. Če težava ostane neodkrita in se širi v sistemu, se stroški povečajo na približno 10-krat, kar vključuje prizadevanja za popravek in sanacijo. Če pa podatki slabe kakovosti dosežejo končnega uporabnika ali fazo odločanja, lahko stroški skokovito narastejo do osupljivih 100-krat večjih od začetnih stroškov zaradi znatnih poslovnih posledic, vključno z motnjami delovanja, izgubljenimi priložnostmi in nezadovoljstvom strank. To pravilo poudarja eksponentni vpliv slabe kakovosti podatkov, zaradi česar je za organizacije ključnega pomena, da vlagajo v opazovanje podatkov, kar pomaga ohranjati težave, če se pojavijo, bližje temeljnemu vzroku in ne navzdol.

zaključek

Težave s kakovostjo podatkov močno vplivajo na podjetja, kar vodi v zapravljene vire in zamujene priložnosti. Vlaganje v opazovanje podatkov je bistvenega pomena za preprečevanje in ublažitev tveganj, povezanih s slabimi podatki. Z izkoriščanjem merljivih meritev in upoštevanjem nemerljivih dejavnikov lahko organizacije izmerijo donosnost naložbe v opazljivost podatkov in odločevalcem pokažejo njeno vrednost. Zagotavljanje zaupanja podatkov, spodbujanje učinkovitega odločanja o domeni, skladnost s predpisi in spodbujanje zadovoljne podatkovne ekipe so ključni vidiki maksimiranja prednosti pobud za kakovost podatkov. Sprejemanje opazljivosti podatkov je strateška naložba, ki varuje natančnost, zanesljivost in uporabo podatkov v današnjem svetu, ki temelji na podatkih. 

Organizacije, ki gradijo bogato prakso opazovanja, imajo večjo vidljivost v svojih prepletenih okoljih, kar pomeni manj izpadov, hitrejše reševanje težav, večje zaupanje v zanesljivost njihovih aplikacij – in navsezadnje več prihodkov in zadovoljnejše stranke.

Časovni žig:

Več od PODATKOVNOST