Înțelegerea impactului datelor proaste – DATAVERSITY

Cunoașteți costurile unei calități slabe a datelor? Mai jos, explorez importanța observabilității datelor, modul în care aceasta poate atenua riscurile de date proaste și modalități de a-și măsura rentabilitatea investiției. Înțelegând impactul datelor proaste și implementând strategii eficiente, organizațiile pot maximiza beneficiile inițiativelor lor privind calitatea datelor. 

Datele au devenit o parte integrantă a procesului decizional modern și, prin urmare, calitatea datelor este esențială pentru a se asigura că părțile interesate din afaceri fac concluzii corecte. 

Dar iată ce-i va spune fiecare lider modern de date: managementul calității datelor este greu. Este nevoie de timp și efort. În plus, rentabilitatea investiției (ROI) este adesea dificil de măsurat. 

Cât de rele sunt datele proaste?

Datele proaste pot duce la pierderi financiare semnificative. Gartner estimează că în fiecare an, calitatea slabă a datelor costă organizațiile în medie cu $ 12.9 de milioane de. În 2022, Software Unity a raportat o pierdere de 110 milioane USD în venituri și 4.2 miliarde USD în capitalizarea sa de piață. „Consecințele ingerării de date proaste de la un client mare”, a declarat compania. În mod similar, date proaste cauzate Equifax, o agenție de raportare a creditelor tranzacționată la bursă, pentru a trimite creditorilor scoruri de credit inexacte milioane a clienților. Mai recent, un incident de date a cauzat perturbări uriașe în traficul aerian din Regatul Unit și Irlanda. Se raportează că peste 2,000 de zboruri au fost anulate, ceea ce a lăsat blocați sute de mii de călători, pierderea financiară acumulată pentru companiile aeriene este estimată la 126.5 milioane de dolari.

Implicațiile datelor rele 

Datele sunt în centrul oricărei afaceri moderne. Responsabilitatea cheie a echipei de date este să construiască și să mențină produse de date care sunt oferite clienților la nivel intern și extern, permițând în același timp organizației să se extindă și să își atingă obiectivele. 

Când vine vorba de a ne asigura că inițiativele de date ale organizației sunt pregătite pentru succes, unele așteptări de bază de la o echipă de date pot fi rezumate după cum urmează:

• Timp de funcționare: Datele sunt un serviciu și, prin urmare, este esențial să vă asigurați că sunt disponibile atunci când este necesar.
• De securitate: Respectarea reglementărilor (cum ar fi GDPR sau HIPAA). Echipa este responsabilă pentru implementarea măsurilor și practicilor pentru protejarea informațiilor sensibile și menținerea confidențialității datelor.
• Încredere: Atât a datelor, cât și a platformei de date. O parte din aceasta este acoperită de timp de funcționare, dar și de calitatea și acuratețea datelor în sensul lor tradițional. 
• Scară: Platforma de date ar trebui să permită scalabilitate pentru a se adapta la volumul de date în creștere, numărul de cazuri de utilizare și nevoile afacerii.
• inovare: Datele ar trebui să stimuleze inovația, iar acesta este un domeniu în care este important ca echipa de date să conducă prin exemplu, aducând inovația în și în afara practicilor de date. 

Atingerea calității datelor prin observabilitatea datelor

Observabilitatea datelor este o soluție pentru a monitoriza și menține în mod proactiv starea de sănătate a datelor pe tot parcursul ciclului de viață. Prin implementarea tehnicilor de înregistrare, urmărire și monitorizare, organizațiile obțin vizibilitate asupra fluxurilor de date, identifică și rezolvă rapid problemele legate de calitatea datelor și previn întreruperile tablourilor de bord de analiză. Alfabetizarea datelor, care implică aprovizionarea, interpretarea și comunicarea datelor, este esențială pentru factorii de decizie pentru a traduce datele în valoare de afaceri în mod eficient. Cultivarea unei culturi bazate pe date și investiția în instrumentele potrivite sunt pași cruciali către obținerea calității datelor prin observabilitatea datelor. 

Cuantificarea ROI al observabilității datelor

Măsurarea rentabilității investiției în observabilitatea datelor îi ajută pe liderii de afaceri să înțeleagă valoarea și beneficiile asociate cu investiția în această practică. Mai multe valori cuantificabile pot servi drept punct de plecare pentru evaluarea costului datelor proaste, inclusiv rata de apariție sau numărul de incidente pe an, timpul până la detectare și timpul până la rezolvare.

Impactul probleme de calitate a datelor poate varia în funcție de dimensiunea și complexitatea operațiunilor comerciale. Pentru a evalua daunele și pentru a construi un caz solid pentru o soluție de observabilitate a datelor, propunem cinci metrici cheie pe care practicienii de date le pot implementa și monitoriza cu ușurință și care pot fi utilizate pentru a susține un caz intern:

1. Numărul și frecvența incidentelor: În timp ce unele companii pot experimenta incidente de date zilnic, altele pot trece zile – dacă nu săptămâni – fără unul. Criticitatea incidentelor poate varia de la ceva „minor”, ​​cum ar fi date învechite legate de un tablou de bord pe care nimeni nu l-a folosit de-a lungul timpului, până la o problemă de duplicare a datelor care determină supraîncărcarea serverului și, în cele din urmă, defectarea (poveste adevarata, Netflix 2016). Constatăm că este adesea legată de: dimensiunea și complexitatea platformei de date, industria companiei (unele industrii sunt în mod inerent mai mature de date decât altele), tipul arhitecturii de date (centralizată, descentralizată, hibridă) etc. Documentarea incidentelor va da o idee mai bună despre ce să căutați data viitoare când există unul, incidentele repetate sunt adesea un bun indicator că ceva de dedesubt necesită o atenție mai atentă.  
2. Clasificarea incidentului: Nu toate incidentele de date sunt de aceeași gravitate; unele pot fi minore și ușor de atenuat, în timp ce altele pot avea consecințe grave. Documentarea criticității incidentelor este importantă pentru a asigura escaladarea și prioritizarea corespunzătoare. Acesta este locul în care descendența datelor poate fi instrumentală, deoarece permite evaluarea impactului în aval al incidentului pentru a înțelege mai bine criticitatea. Un incident care este legat de tabloul de bord preferat al CEO-ului sau de o bază de date de producție sau de un produs de date important este probabil să fie de mare criticitate. 
3. Timp mediu până la detectare (MTTD): Când vine vorba de construirea încrederii în date și în echipa de date, coșmarul fiecărui specialist în date este atunci când părțile interesate de afaceri sunt primii care detectează problemele legate de calitatea datelor. Poate afecta cu adevărat credibilitatea echipei și capacitatea companiei de a deveni cu adevărat bazat pe date. Pe măsură ce începeți să documentați incidentele și să le clasificați criticitatea, este important să urmăriți, de asemenea, modul în care au fost detectate și timpul necesar echipei de date pentru a le recunoaște. Această măsurătoare poate fi un bun indicator al robusteței gestionării incidentelor, dar și reducerea acesteia înseamnă că reduceți riscul ca incidentul să provoace mai multe daune. 
4. Timp mediu până la rezoluție (MTTR): Ce se întâmplă odată ce un incident este raportat? MTTR este timpul mediu petrecut între a deveni conștient de un incident de date și a-l rezolva. Timpul de rezoluție este foarte influențat de criticitatea incidentului și de complexitatea platformei de date, motiv pentru care luăm în considerare media în scopul acestui cadru.
5. Timp mediu până la producție (MTTP) este timpul mediu necesar pentru a livra noi produse de date sau, cu alte cuvinte, timpul mediu de comercializare a produselor de date. Acesta ar putea fi timpul petrecut de un analist „curățând” datele pentru un model de știință a datelor. De fapt, conform Forbes, pregătirea datelor reprezintă aproximativ 80% din munca cercetătorilor de date. Într-o lume în care dorim să tratăm datele ca pe un produs, îmbunătățirea calității datelor poate avea un impact direct asupra reducerii timpului de lansare pe piață. 

În plus față de valorile cuantificabile de mai sus, altele care sunt mai puțin ușor cuantificabile, dar la fel de importante merită luate în considerare atunci când ne uităm la costul datelor proaste.

• Erodarea încrederii: În date și echipa de date. Aceasta este, după părerea mea, cea mai periculoasă consecință a datelor proaste, care poate duce la probleme mai mari, cum ar fi cifra de afaceri în echipa de date sau pierderea încrederii în capacitatea companiei de a deveni bazată pe date și de a ține pasul cu peisajul digital în evoluție. Și odată ce încrederea este ruptă, este foarte greu să o recâștig. Într-o experiență anterioară, am lucrat în jurul consumatorilor de date care preferă să nu folosească datele și să se bazeze mai degrabă pe „experiență” și „sentiment” într-un mediu de tranzacționare cu acțiuni foarte volatil decât să le folosească știind că au șanse mari de a fi inexacte. . 

• Pierdere de productivitate: Cu date proaste, echipele sunt forțate să tragă foc și să corecteze erorile pe măsură ce apar. Această stingere constantă a incendiilor nu este doar epuizantă, ci și contraproductivă. Timpul valoros care ar putea fi alocat pentru planificarea strategică și inițiativele de creștere este irosit pentru depanare, deturnând resursele de la sarcini mai critice.

• Risc de reglementare și reputație: Erorile în raportarea financiară sau manipularea greșită a datelor cu caracter personal pot duce la amenzi costisitoare și lupte juridice. Abordarea problemelor de conformitate reprezintă o pierdere semnificativă a productivității, ca să nu mai vorbim de povara financiară pe care o impun.

• Performanță slabă a afacerii: Pe lângă pierderea productivității în cadrul echipei de date, datele proaste pot împiedica performanța generală a afacerii, deoarece compania se luptă cu pregătirea digitală și credibilitatea în fața clienților săi și devine vulnerabilă la amenințările externe. 

Problemele legate de calitatea datelor pot duce la diverse probleme, inclusiv pierderea încrederii în date, reducerea productivității și a moralului echipei, nerespectarea reglementărilor și scăderea calității luării deciziilor. Datele izolate în cadrul departamentelor sau unităților de afaceri fac ca este dificil să obțineți o viziune holistică asupra peisajului de date al organizației. Acest lucru poate duce la luarea deciziilor ineficiente, poate împiedica cultura datelor și poate pune în pericol conformitatea cu reglementări precum GDPR și HIPAA. Mai mult decât atât, echipele de date pot deveni frustrate prin petrecerea excesivă de timp pentru depanarea problemelor legate de date, impactând negativ satisfacția lor în muncă și ducând potențial la abandonul angajaților. 

Regula 1x10x100

Regula 1x10x100, un principiu larg recunoscut în managementul incidentelor, subliniază costurile în creștere asociate cu calitatea proastă a datelor. Conform acestei reguli, costul soluționării unei probleme de calitate a datelor la punctul de intrare este de aproximativ 1 ori costul inițial. Dacă problema nu este detectată și se propagă în sistem, costul crește la aproximativ 10 ori, implicând eforturi de corecție și remediere. Cu toate acestea, dacă calitatea slabă a datelor ajunge în faza utilizatorului final sau în faza de luare a deciziilor, costul poate crește vertiginos până la 100 de ori cheltuiala inițială din cauza consecințelor semnificative de afaceri, inclusiv întreruperi operaționale, oportunități pierdute și nemulțumire a clienților. Această regulă subliniază impactul exponențial al calității proaste a datelor, ceea ce face esențial ca organizațiile să investească în observabilitatea datelor, ceea ce ajută la menținerea problemelor, dacă apar, mai aproape de cauza principală față de cea din aval.

Concluzie

Problemele legate de calitatea datelor au un impact semnificativ asupra afacerilor, ducând la irosirea resurselor și la oportunități ratate. Investiția în observabilitatea datelor este esențială pentru a preveni și a atenua riscurile asociate cu datele proaste. Prin valorificarea unor metrici cuantificabile și luând în considerare factorii necuantificabili, organizațiile pot măsura rentabilitatea investiției observabilității datelor și pot demonstra valoarea acesteia pentru factorii de decizie. Asigurarea încrederii în date, promovarea procesului decizional eficient în domeniu, respectarea reglementărilor și promovarea unei echipe de date mulțumite sunt toate aspectele critice ale maximizării beneficiilor inițiativelor privind calitatea datelor. Adoptarea observabilității datelor este o investiție strategică care protejează acuratețea, fiabilitatea și utilizarea datelor în lumea actuală bazată pe date. 

Organizațiile care construiesc o practică bogată de observabilitate au mai multă vizibilitate în mediile lor împletite, ceea ce se traduce în mai puține întreruperi, rezolvare mai rapidă a problemelor, încredere mai mare în fiabilitatea aplicațiilor lor și, în cele din urmă, mai multe venituri și clienți mai fericiți.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://www.dataversity.net/putting-a-number-on-bad-data/