Observabilitatea datelor: ce este și de ce contează – DATAVERSITY

Ca proces, observabilitatea datelor este utilizată de companiile care lucrează cu cantități masive de date. Multe organizații mari și moderne încearcă să-și monitorizeze datele folosind o varietate de aplicații și instrumente. Din păcate, puține companii dezvoltă vizibilitatea necesară pentru o imagine de ansamblu realistă. 

Observabilitatea datelor oferă această imagine de ansamblu, pentru a elimina problemele de flux de date cât mai repede posibil.

Procesul de observabilitate include o varietate de metode și tehnologii care ajută la identificarea și rezolvarea problemelor legate de date în timp real. Acest proces construiește o hartă multidimensională a întregului flux de date al unei afaceri, oferind perspective mai profunde asupra performanței sistemului și a calității datelor. 

Întrebat despre observabilitatea datelor, Ryan Yackel, CMO al Databand, o companie IBM, a comentat:

„Pe măsură ce volumul, viteza și complexitatea conductelor mari de date continuă să crească, companiile se bazează pe echipele de inginerie de date și platforme ca coloana vertebrală a afacerilor lor bazate pe date. Problema este că majoritatea acestor echipe au treaba pentru ei. Aceștia luptă împotriva datelor cu incidente de fiabilitate și calitate, ceea ce face dificilă concentrarea asupra inițiativelor strategice care implică AL/ML, analize și produse de date. Observabilitatea datelor oferă o soluție.”

Inițial, observabilitatea datelor ar putea părea a fi o formă de linia de date, dar cele două procese servesc unor scopuri diferite. 

Observabilitatea datelor se concentrează pe rezolvarea rapidă și eficientă a problemelor cu datele prin utilizarea unui sistem de măsurare. Cu toate acestea, descendența datelor este folosită în primul rând pentru colectarea și stocarea datelor de înaltă calitate - date care pot fi de încredere.

În plus, descendența datelor poate fi utilizată ca o componentă pentru a sprijini un program de observabilitate. (Unele articole promovează observabilitatea datelor ca având același scop ca descendența datelor și există o oarecare adevăr în afirmație. Linia datelor este o componentă a observabilității datelor.) 

Termenul „observabilitate” a fost inițial un concept filozofic dezvoltat de Heraclit în jurul anului 510 î.Hr. El a stabilit că observabilitatea necesită diferențe comparative – frigul poate fi observat în comparație cu căldura. În 1871, James C. Maxwell, un fizician, a dezvoltat ideea că era imposibil să se cunoască locația tuturor particulelor într-un experiment de termodinamică, dar observând „anumite rezultate cheie” pentru schimbări comparative, se puteau face predicții precise. 

Descrierea de către Maxwell a observabilității utilizând rezultate cheie a fost adaptată și aplicată la o varietate de aplicații automate, de la echipamentele din fabrică până la senzorii de aeronave. Conceptul a fost apoi adoptat de DevOps pentru depanare și tratarea „incidentelor de producție”, în aproximativ 2016. În 2019, Barr Moses – CEO și co-fondator al Monte Carlo – a dezvoltat un proces de observabilitate conceput pentru a oferi o imagine de ansamblu asupra fluxului de date al unei organizații. . 

a scris Moise, 

„Observabilitatea datelor este capacitatea unei organizații de a înțelege pe deplin starea de sănătate a datelor din sistemele lor. Observabilitatea datelor elimină timpul de nefuncţionare a datelor prin aplicarea celor mai bune practici învăţate din DevOps la observabilitatea conductei de date. "

Cinci piloni ai observabilității datelor

Observabilitatea datelor funcționează pentru a rezolva problemele legate de date și informații, oferind o hartă detaliată a datelor în timp real. Oferă vizibilitate pentru activitățile de date ale unei organizații. Multe companii au date care sunt izolate, blocând observabilitatea. Silozurile de date trebuie eliminate pentru a sprijini un program de observabilitate a datelor. 

Atunci când activități precum urmărirea, monitorizarea, alertarea, analiza, înregistrarea în jurnal și „comparațiile” sunt efectuate fără un tablou de bord de observabilitate, poate avea loc o formă de partiționare organizațională. Oamenii dintr-un departament nu își dau seama că eforturile lor au consecințe neintenționate în alt departament – ​​cum ar fi lipsa/stilizarea informațiilor care promovează luarea deciziilor proaste sau o parte a sistemului este defectă și nimeni nu își dă seama. 

Amintiți-vă, observabilitatea înseamnă luarea măsurătorilor anumitor rezultate cheie. Cei cinci piloni (sau rezultate cheie) dezvoltate de Barr Moses în scopuri de măsurare sunt: 

• Calitate: Datele de înaltă calitate sunt considerate exacte, în timp ce datele de calitate scăzută nu sunt. Măsurătorile calității datelor oferă informații despre dacă datele dvs. pot fi de încredere. Există o varietate de moduri a masura Calitatea datelor.

• Schemă: Acest lucru implică schimbări în modul în care sunt organizate datele, iar măsurătorile schemei pot indica întreruperi în fluxul de date. Determinarea când, cum și cine a făcut modificările poate fi utilă în ceea ce privește întreținerea preventivă. 

• Volum: Cantități mari de date sunt utile în scopuri de cercetare și marketing. Acest lucru poate oferi organizațiilor o viziune integrată asupra clienților și pieței lor. Cu cât sunt mai multe date actuale și istorice utilizate în timpul cercetării, cu atât mai multe perspective.

• Linia de date: Un program bun de generație a datelor înregistrează modificările aduse datelor și locațiilor acestora și este, în mod normal, utilizat pentru a îmbunătăți calitatea datelor. Cu toate acestea, poate fi folosit și ca parte a unui program de observare a datelor. În această calitate, este folosit pentru a depana întreruperile care ar putea apărea și pentru a enumera ceea ce a fost făcut înainte de deteriorare. 

• Prospeţime: Este vorba, în esență, de a nu folosi informații vechi sau, așa cum se referă Barr Moses, de date învechite. Prospeţime pune accent pe datele actualizate, ceea ce este important atunci când luați decizii bazate pe date. Marcajele temporale sunt utilizate în mod obișnuit pentru a determina dacă datele sunt vechi. 

Atunci când sunt combinate, măsurătorile acestor componente sau stâlpi pot oferi informații valoroase asupra problemelor care apar – sau pur și simplu apar – și promovează capacitatea de a efectua reparații cât mai repede posibil.

Provocări privind observabilitatea datelor

Platforma potrivită de observabilitate a datelor poate transforma modul în care întreprinderile își mențin și gestionează datele. Din păcate, implementarea platformei poate prezenta unele provocări. Problemele de compatibilitate vor apărea atunci când platforma se potrivește prost. 

Platformele și instrumentele de observabilitate pot fi restricționate dacă conducta de date, software-ul, serverele și bazele de date nu sunt complet compatibile. Aceste platforme nu funcționează în vid, ceea ce face important să eliminați oricare silozuri de date din sistem și să se asigure că toate sistemele de date din cadrul organizației sunt integrate. 

Este important să testați o platformă de observabilitate a datelor înainte de a semna un contract.

Din păcate, chiar și atunci când toate sursele interne și externe de date ale companiei sunt integrate corect în platformă, diferă modele de date poate cauza probleme. Multe companii acceptă 400 sau mai multe surse de date și fiecare sursă externă poate prezenta o problemă dacă nu utilizează aceleași standarde și formate.

Cu excepția instrumentelor open-source, platformele de observabilitate sunt bazate pe cloud și pot oferi o anumită flexibilitate care acceptă reglarea fină. 

Cele mai bune platforme de observabilitate sunt axate pe un proces de măsurare standardizat și pe linii directoare de înregistrare. Acest lucru promovează corelarea eficientă a informațiilor, dar sursele de date externe și conductele de date personalizate pot cauza probleme și necesită eforturi manuale suplimentare pentru a îndeplini sarcini care ar fi trebuit automatizate.

În plus, unele instrumente pot avea costuri neobișnuite de stocare care limitează scalabilitatea.

Platforme de observare a datelor

Platformele de observabilitate a datelor conțin de obicei o varietate de instrumente utile. Acestea includ adesea suport automat pentru generația automată de date, analiza cauzei principale, calitatea datelor și monitorizarea pentru a identifica, rezolva și preveni anomaliile în fluxul de date. 

Platformele promovează o productivitate crescută, conducte mai sănătoase și clienți mai fericiți. Câteva platforme populare de observabilitate a datelor sunt:

• Banda de date oferă o platformă de observabilitate foarte funcțională care poate detecta și rezolva problemele de date foarte rapid, folosind un proces de observabilitate continuu care identifică problemele de date înainte ca acestea să afecteze afacerea dvs. 

• Monte Carlo oferă o platformă de observabilitate care poate fi descrisă ca oferind observabilitate „de la conductă la business intelligence.” Aduce fiabilitatea datelor la orchestrarea diferitelor servicii și instrumente de date. 

• Metaplanul oferă observabilitate de la capăt la capăt.

• Există o varietate de open-source instrumente de observabilitate disponibile, care ar merita investigate.

Importanța observabilității datelor

Pentru organizațiile care se confruntă cu fluxuri mari de date, observabilitatea poate fi utilizată pentru a monitoriza sistemul de date în ansamblu și pentru a trimite semnale roșii atunci când apare o problemă. 

Pe măsură ce companiile colectează cantități masive de date dintr-o varietate de surse, ele dezvoltă sisteme pentru a le gestiona, strat după strat. Aceste sisteme includ stocarea datelor, conducte de date și o serie de instrumente. Fiecare strat suplimentar de complexitate crește șansele de nefuncționare a datelor din cauza unor probleme precum incompatibilități sau date vechi și lipsă.

Potrivit lui Yackel, „Utilizarea continuă a observabilității datelor pentru a monitoriza conductele de date, seturile de date și tabelele de date alertează echipele de date atunci când are loc un incident de date și arată cum să remedieze cauza principală, înainte ca aceasta să le afecteze afacerea. Cu observabilitatea datelor, ingineria se poate concentra pe construirea de produse excelente de date, mai degrabă decât pe menținerea proceselor întrerupte.” 

Observabilitatea datelor va ajuta companiile să identifice în mod proactiv sursa problemelor legate de conducte, erorile de date și inconsecvențele fluxului de date pentru a consolida relațiile cu clienții și a îmbunătăți calitatea datelor.

Imagine utilizată sub licență de la Shutterstock.com

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoAiStream. Web3 Data Intelligence. Cunoștințe amplificate. Accesați Aici.
• Mintând viitorul cu Adryenn Ashley. Accesați Aici.
• Cumpărați și vindeți acțiuni în companii PRE-IPO cu PREIPO®. Accesați Aici.
• Sursa: https://www.dataversity.net/data-observability-what-it-is-and-why-it-matters/