Opazljivost podatkov: kaj je in zakaj je pomembna - DATAVERSITY

Opazljivost podatkov: kaj je in zakaj je pomembna – DATAVERSITY

Časovni žig: 1. junij 2023 3:35
Izvorno vozlišče: 2691645
opaznost podatkovopaznost podatkov

Opazljivost podatkov kot proces uporabljajo podjetja, ki delajo z ogromnimi količinami podatkov. Številne velike sodobne organizacije poskušajo spremljati svoje podatke z različnimi aplikacijami in orodji. Na žalost le malo podjetij razvije vidljivost, potrebno za realističen pregled. 

Opazljivost podatkov zagotavlja ta pregled za čim hitrejšo odpravo težav s pretokom podatkov.

Postopek opazovanja vključuje različne metode in tehnologije, ki pomagajo prepoznati in razrešiti težave s podatki v realnem času. Ta proces zgradi večdimenzionalni zemljevid celotnega podatkovnega toka podjetja, ki ponuja globlji vpogled v delovanje sistema in kakovost podatkov. 

Ko so ga vprašali o opazljivosti podatkov, je Ryan Yackel, CMO podjetja Databand, IBM-ovega podjetja, komentiral:

»Ker obseg, hitrost in kompleksnost cevovodov za velike podatke še naprej rastejo, se podjetja zanašajo na podatkovni inženiring in ekipe platform kot hrbtenice svojih podjetij, ki temeljijo na podatkih. Težava je v tem, da ima večina teh ekip svoje delo. Podatke se borijo z incidenti glede zanesljivosti in kakovosti, zaradi česar se težko osredotočijo na strateške pobude, ki vključujejo AL/ML, analitiko in podatkovne izdelke. Opazljivost podatkov je rešitev.«

Sprva se lahko zdi, da je opazljivost podatkov oblika podatkovna linija, vendar imata oba postopka različne namene. 

Opazljivost podatkov se osredotoča na hitro in učinkovito reševanje težav s podatki z uporabo merilnega sistema. Podatkovna linija pa se uporablja predvsem za zbiranje in shranjevanje visokokakovostnih podatkov – podatkov, ki jim je mogoče zaupati.

Poleg tega se podatkovna linija lahko uporablja kot komponenta za podporo programa za opazovanje. (Nekateri članki spodbujajo opazljivost podatkov, ki služijo istemu namenu kot linija podatkov, in v trditvi je nekaj resnice. Linija podatkov je sestavni del opazljivosti podatkov.) 

Izraz "opazljivost" je bil prvotno filozofski koncept, ki ga je razvil Heraklit okoli leta 510 pr. n. št. Ugotovil je, da opaznost zahteva primerjalne razlike – mraz lahko opazujemo v primerjavi s toploto. Leta 1871 je James C. Maxwell, fizik, razvil zamisel, da je nemogoče poznati lokacijo vseh delcev v termodinamičnem eksperimentu, toda z opazovanjem "določenih ključnih rezultatov" za primerjalne spremembe je mogoče narediti natančne napovedi. 

Maxwellov opis opazljivosti z uporabo ključnih rezultatov je bil prilagojen in uporabljen za različne avtomatizirane aplikacije, od tovarniške opreme do senzorjev letal. Koncept je nato približno leta 2016 sprejel DevOps za odpravljanje napak in obravnavo »proizvodnih incidentov«. Leta 2019 je Barr Moses – izvršni direktor in soustanovitelj podjetja Monte Carlo – razvil proces opazovanja, zasnovan za zagotavljanje pregleda pretoka podatkov v organizaciji . 

je zapisal Mojzes, 

»Opazljivost podatkov je zmožnost organizacije, da v celoti razume stanje podatkov v svojih sistemih. Opazljivost podatkov odpravlja izpad podatkov z uporabo najboljših praks, iz katerih smo se naučili DevOps do opazljivost podatkovnega cevovoda«.

Pet stebrov opazljivosti podatkov

Opazljivost podatkov rešuje težave s podatki in informacijami tako, da zagotavlja natančen zemljevid podatkov v realnem času. Zagotavlja vidnost podatkovnih dejavnosti organizacije. Mnoga podjetja imajo podatke, ki so zaprti in onemogočajo opazovanje. Podatkovne silose je treba odpraviti, da bi podprli program opazovanja podatkov. 

Ko se dejavnosti, kot so sledenje, spremljanje, opozarjanje, analiza, beleženje in "primerjave", izvajajo brez nadzorne plošče za opazovanje, lahko pride do oblike organizacijske particije. Ljudje v enem oddelku se ne zavedajo, da imajo njihova prizadevanja nenamerne posledice v drugem oddelku – na primer manjkajoče/razpršene informacije, ki spodbujajo napačno odločanje, ali del sistema ne deluje in se tega nihče ne zaveda. 

Ne pozabite, opazljivost je merjenje določenih ključnih rezultatov. Pet stebrov (ali ključnih rezultatov), ​​ki jih je Barr Moses razvil za namene merjenja, je: 

  • Kakovost: Podatki visoke kakovosti veljajo za točne, podatki nizke kakovosti pa ne. Meritve kakovosti podatkov omogočajo vpogled v to, ali je vašim podatkom mogoče zaupati. Obstaja več načinov meriti Kakovost podatkov.
  • Shema: To vključuje spremembe v tem, kako so podatki organizirani, in meritve sheme lahko pokažejo prekinitve v toku podatkov. Ugotavljanje, kdaj, kako in kdo je naredil spremembe, je lahko koristno v smislu preventivnega vzdrževanja. 
  • Prostornina: Velike količine podatkov so uporabne za raziskave in trženje. To lahko organizacijam zagotovi integriran pogled na njihove stranke in trg. Več aktualnih in preteklih podatkov kot je uporabljenih med raziskavo, več vpogledov.
  • Linija podatkov: Dober program za določanje rodov podatkov beleži spremembe podatkov in njihovih lokacij ter se običajno uporablja za izboljšanje kakovosti podatkov. Lahko pa se uporablja tudi kot del programa za opazovanje podatkov. V tej vlogi se uporablja za odpravljanje težav, do katerih bi lahko prišlo, in seznam, kaj je bilo narejeno pred škodo. 
  • svežina: V bistvu gre za to, da ne uporabljamo starih informacij ali, kot jih imenuje Barr Moses, zastarelih podatkov. svežina poudarja ažurne podatke, kar je pomembno pri sprejemanju odločitev na podlagi podatkov. Časovni žigi se običajno uporabljajo za ugotavljanje, ali so podatki stari. 

Če jih združimo, lahko meritve teh komponent ali stebrov zagotovijo dragocen vpogled v težave, ki nastanejo – ali se preprosto pojavijo – in spodbujajo zmožnost čim hitrejšega popravila.

Izzivi opazljivosti podatkov

Prava platforma za opazovanje podatkov lahko spremeni način, kako podjetja vzdržujejo in upravljajo svoje podatke. Na žalost lahko implementacija platforme predstavlja nekaj izzivov. Težave z združljivostjo se bodo pojavile, ko platforma ne ustreza. 

Platforme in orodja za opazovanje je mogoče omejiti, če podatkovni cevovod, programska oprema, strežniki in baze podatkov niso popolnoma združljivi. Te platforme ne delujejo v vakuumu, zato je pomembno, da jih odpravite podatkovni silosi iz sistema in zagotoviti, da so vsi podatkovni sistemi znotraj organizacije integrirani. 

Pred podpisom pogodbe je pomembno preizkusiti platformo za opazovanje podatkov.

Na žalost, tudi ko so vsi notranji in zunanji viri podatkov podjetja pravilno integrirani v platformo, drugače podatkovni modeli lahko povzroči težave. Mnoga podjetja podpirajo 400 ali več virov podatkov in vsak zunanji vir lahko predstavlja težavo, če ne uporablja istih standardov in formatov.

Razen odprtokodnih orodij platforme za opazovanje temeljijo na oblaku in lahko nudijo nekaj prilagodljivosti, ki podpira fino nastavitev. 

Najboljše platforme za opazovanje so osredotočene na standardiziran postopek merjenja in smernice za beleženje. To spodbuja učinkovito korelacijo informacij, vendar lahko zunanji viri podatkov in prilagojeni podatkovni cevovodi povzročijo težave in zahtevajo dodatna ročna prizadevanja za izvajanje nalog, ki bi morale biti avtomatizirane.

Poleg tega imajo lahko nekatera orodja neobičajne stroške shranjevanja, ki omejujejo razširljivost.

Platforme za opazovanje podatkov

Platforme za opazovanje podatkov običajno vsebujejo vrsto uporabnih orodij. Ti pogosto vključujejo avtomatizirano podporo za avtomatizirano podatkovno linijo, analizo temeljnega vzroka, kakovost podatkov in spremljanje za prepoznavanje, razreševanje in preprečevanje anomalij v toku podatkov. 

Platforme spodbujajo večjo produktivnost, bolj zdrave napeljave in srečnejše stranke. Nekatere priljubljene platforme za opazovanje podatkov so:

  • Podatkovni pas zagotavlja zelo funkcionalno platformo za opazovanje, ki lahko zelo hitro odkrije in razreši težave s podatki z uporabo neprekinjenega postopka opazovanja, ki identificira težave s podatki, preden vplivajo na vaše poslovanje. 
  • Monte Carlo ponuja platformo za opazovanje, ki jo lahko opišemo kot zagotavljanje opazljivosti »od cevovoda do Poslovna inteligenca.” Prinaša zanesljivost podatkov pri orkestraciji različnih podatkovnih storitev in orodij. 
  • Metaplan omogoča opazovanje od konca do konca.
  • Obstajajo različne open-source razpoložljiva orodja za opazovanje, ki bi jih bilo vredno raziskati.

Pomen opazljivosti podatkov

Za organizacije, ki se ukvarjajo z velikimi pretoki podatkov, se lahko opazljivost uporablja za spremljanje podatkovnega sistema kot celote in pošiljanje rdečih zastavic, ko se pojavi težava. 

Ker podjetja zbirajo ogromne količine podatkov iz različnih virov, razvijajo sisteme za njihovo obdelavo, plast za plastjo. Ti sistemi vključujejo shranjevanje podatkov, podatkovne kanale in številna orodja. Vsaka dodatna plast kompleksnosti poveča možnosti za izpad podatkov zaradi težav, kot so nezdružljivosti ali stari in manjkajoči podatki.

Kot pravi Yackel, »nenehna uporaba opazovanja podatkov za spremljanje podatkovnih cevovodov, naborov podatkov in podatkovnih tabel opozori podatkovne skupine, ko pride do podatkovnega incidenta, in pokaže, kako odpraviti glavni vzrok, preden to vpliva na njihovo poslovanje. Z možnostjo opazovanja podatkov se lahko inženiring osredotoči na ustvarjanje odličnih podatkovnih izdelkov namesto na vzdrževanje pokvarjenih procesov.« 

Opazljivost podatkov bo podjetjem pomagala proaktivno prepoznati vir težav s cevovodom, napak v podatkih in nedoslednosti v pretoku podatkov, da bi okrepila odnose s strankami in izboljšala kakovost podatkov.

Slika, uporabljena pod licenco Shutterstock.com

Časovni žig:

Več od PODATKOVNOST