Adatok megfigyelhetősége: mi ez és miért számít – DATAVERSITY

Adatok megfigyelhetősége: mi ez és miért számít – DATAVERZITÁS

Időbélyeg: 1. június 2023. 3:35
Forrás csomópont: 2691645
adatok megfigyelhetőségeadatok megfigyelhetősége

Az adatok megfigyelhetőségét folyamatként használják a hatalmas mennyiségű adattal dolgozó vállalkozások. Sok nagy, modern szervezet különféle alkalmazásokkal és eszközökkel próbálja megfigyelni adatait. Sajnos kevés vállalkozás alakítja ki a reális áttekintéshez szükséges láthatóságot. 

Az adatok megfigyelhetősége biztosítja az áttekintést az adatáramlási problémák mielőbbi kiküszöböléséhez.

A megfigyelési folyamat számos olyan módszert és technológiát foglal magában, amelyek valós időben segítenek azonosítani és megoldani az adatokkal kapcsolatos problémákat. Ez a folyamat többdimenziós térképet készít a vállalkozás teljes adatfolyamáról, mélyebb betekintést nyújtva a rendszer teljesítményébe és adatminőségébe. 

Amikor az adatok megfigyelhetőségéről kérdezték, Ryan Yackel, a Databand, az IBM egyik vállalatának piacvezető igazgatója megjegyezte:

„Mivel a nagy adatfolyamok mennyisége, sebessége és összetettsége folyamatosan növekszik, a vállalatok adatközpontú vállalkozásaik gerinceként az adatmérnöki és platformcsapatokra támaszkodnak. A probléma az, hogy a legtöbb ilyen csapatnak megvan a maga munkája. Az adatok megbízhatósági és minőségi incidenseivel küzdenek, megnehezítve az AL/ML-t, az elemzést és az adattermékeket érintő stratégiai kezdeményezésekre való összpontosítást. Az adatok megfigyelhetősége megoldást kínál.”

Kezdetben úgy tűnhet, hogy az adatok megfigyelhetősége egyfajta adatsor, de a két folyamat különböző célokat szolgál. 

Az adatok megfigyelhetősége az adatokkal kapcsolatos problémák gyors és hatékony megoldására összpontosít, mérőrendszer használatával. Az adatsort azonban elsősorban kiváló minőségű – megbízható adatok – gyűjtésére és tárolására használják.

Ezenkívül az adatsor felhasználható komponensként egy megfigyelési program támogatására. (Egyes cikkek az adatok megfigyelhetőségét úgy hirdetik, hogy az ugyanazt a célt szolgálja, mint az adatsor, és van némi igazság az állításban. Az adatsor az adatok megfigyelhetőségének összetevője.) 

A „megfigyelhetőség” kifejezés eredetileg egy filozófiai fogalom, amelyet Hérakleitosz dolgozott ki ie 510 körül. Megállapította, hogy a megfigyelhetőség összehasonlító különbségeket igényel – a hideg a meleghez viszonyítva figyelhető meg. 1871-ben James C. Maxwell fizikus kidolgozta azt az elképzelést, hogy lehetetlen az összes részecske elhelyezkedését tudni egy termodinamikai kísérletben, de az összehasonlító változások „bizonyos kulcskimeneteinek” megfigyelésével pontos előrejelzések készíthetők. 

Maxwell kulcskimeneteket használó megfigyelhetőségi leírását adaptálták és alkalmazták számos automatizált alkalmazásra, a gyári berendezésektől a repülőgép-érzékelőkig. A koncepciót ezután a DevOps a hibakeresésre és a „termelési incidensek” kezelésére 2016 körül magáévá tette. 2019-ben Barr Moses – a Monte Carlo vezérigazgatója és társalapítója – kidolgozott egy megfigyelési folyamatot, amelynek célja, hogy áttekintést nyújtson a szervezet adatáramlásáról. . 

Mózes írta, 

„Az adatok megfigyelhetősége a szervezet azon képessége, hogy teljes mértékben megértse a rendszereiben lévő adatok állapotát. Az adatok megfigyelhetősége kiküszöböli az adatok leállását a tanult legjobb gyakorlatok alkalmazásával DevOps nak nek adatfolyam megfigyelhetőség. "

Az adatok megfigyelhetőségének öt pillére

Az adatok megfigyelhetősége az adatokkal és információkkal kapcsolatos problémák megoldására szolgál azáltal, hogy valós idejű alapos térképet biztosít az adatokról. Láthatóságot biztosít egy szervezet adattevékenységei számára. Sok vállalkozásnál vannak olyan adatok, amelyek el vannak zárva, ami megakadályozza a megfigyelhetőséget. Az adatmegfigyelési program támogatása érdekében az adatsilókat meg kell szüntetni. 

Ha az olyan tevékenységeket, mint a nyomon követés, figyelés, riasztás, elemzés, naplózás és „összehasonlítás”, megfigyelhetőségi irányítópult nélkül hajtják végre, a szervezeti felosztás egyfajta formája valósulhat meg. Az egyik osztályon dolgozók nem veszik észre, hogy erőfeszítéseik nem szándékos következményekkel járnak egy másik osztályon – például hiányzó/elhalmozódott információ, amely rossz döntéshozatalt segít elő, vagy a rendszer egy része leállt, és ezt senki sem veszi észre. 

Ne feledje, a megfigyelhetőség bizonyos kulcsfontosságú kimenetek mérését jelenti. A mérési célokra kifejlesztett Barr Moses öt oszlopa (vagy kulcskimenete): 

  • Minőség: A jó minőségű adatok pontosnak számítanak, míg az alacsony minőségű adatok nem. Az adatok minőségének mérése betekintést nyújt abba, hogy adatai megbízhatóak-e. Sokféle mód létezik megmérni Adat minőség.
  • Séma: Ez megváltoztatja az adatok szervezési módját, és a séma mérései megszakításokat mutathatnak az adatáramlásban. A megelőző karbantartás szempontjából hasznos lehet annak meghatározása, hogy mikor, hogyan és ki végezte el a változtatásokat. 
  • Volume: A nagy mennyiségű adat hasznos kutatási és marketing célokra. Ezáltal a szervezetek integrált képet kaphatnak ügyfeleikről és piacáról. Minél több aktuális és történelmi adatot használunk fel a kutatás során, annál több betekintést nyerünk.
  • Adatvonal: Egy jó adatvonal-program rögzíti az adatok és helyük változásait, és általában az adatminőség javítására használják. Használható azonban adatmegfigyelő program részeként is. Ebben a minőségben az esetlegesen előforduló szünetek hibaelhárítására szolgál, és felsorolja, hogy mi történt a sérülés előtt. 
  • Frissesség: Ez lényegében arról szól, hogy ne használjunk régi információkat, vagy ahogy Barr Moses utal rá, elavult adatokat. Frissesség a naprakész adatokat hangsúlyozza, ami fontos az adatvezérelt döntések meghozatalakor. Az időbélyegeket általában annak megállapítására használják, hogy az adatok régiek-e. 

Ezeknek az alkatrészeknek vagy oszlopoknak a mérései kombinálva értékes betekintést nyújthatnak a kialakuló – vagy egyszerűen csak megjelenő – problémákba, és elősegítik a lehető leggyorsabb javítási lehetőségeket.

Adatok megfigyelhetőségi kihívásai

A megfelelő adatmegfigyelési platform megváltoztathatja a vállalkozások adatainak karbantartását és kezelését. Sajnos a platform bevezetése bizonyos kihívásokat jelenthet. Kompatibilitási problémák jelentkeznek, ha a platform rosszul illeszkedik. 

A megfigyelési platformok és eszközök korlátozhatók, ha az adatfolyam, a szoftver, a kiszolgálók és az adatbázisok nem teljesen kompatibilisek. Ezek a platformok nem működnek vákuumban, ezért fontos, hogy ezeket kiküszöböljük adat silók a rendszerből, és gondoskodjon arról, hogy a szervezeten belül minden adatrendszer integrálva legyen. 

Fontos, hogy a szerződés aláírása előtt teszteljünk egy adatmegfigyelési platformot.

Sajnálatos módon még akkor is eltérő, ha a vállalat összes belső és külső adatforrása megfelelően integrálva van a platformba adatmodellek problémákat okozhat. Sok vállalkozás 400 vagy több adatforrást támogat, és minden külső forrás problémát jelenthet, ha nem ugyanazokat a szabványokat és formátumokat használja.

A nyílt forráskódú eszközök kivételével a megfigyelési platformok felhőalapúak, és bizonyos rugalmasságot kínálhatnak, amely támogatja a finomhangolást. 

A legjobb megfigyelési platformok szabványos mérési folyamatra és naplózási irányelvekre összpontosítanak. Ez elősegíti az információk hatékony korrelációját, de a külső adatforrások és a testreszabott adatfolyamok problémákat okozhatnak, és további manuális erőfeszítéseket igényelnek az automatizált feladatok végrehajtásához.

Ezenkívül egyes eszközök szokatlan tárolási költségekkel járhatnak, amelyek korlátozzák a méretezhetőséget.

Adatmegfigyelő platformok

Az adatmegfigyelési platformok általában számos hasznos eszközt tartalmaznak. Ezek gyakran magukban foglalják az automatizált adatsor automatikus támogatását, a kiváltó okok elemzését, az adatminőséget és az adatfolyam anomáliáinak azonosítását, feloldását és megelőzését célzó figyelést. 

A platformok növelik a termelékenységet, egészségesebb csővezetékeket és boldogabb ügyfeleket. Néhány népszerű adatmegfigyelési platform:

  • Adatsáv egy rendkívül funkcionális megfigyelési platformot biztosít, amely nagyon gyorsan képes észlelni és megoldani az adatproblémákat egy folyamatos megfigyelési folyamat segítségével, amely azonosítja az adatproblémákat, mielőtt azok hatással lennének az Ön vállalkozására. 
  • Monte Carlo megfigyelhetőségi platformot kínál, amely úgy írható le, hogy megfigyelhetőséget biztosít „a csővezetéktől a üzleti intelligencia.” Adatmegbízhatóságot hoz a különféle adatszolgáltatások és eszközök összehangolásához. 
  • Metplane végponttól végpontig megfigyelhető.
  • Vannak különféle nyílt forráskódú rendelkezésre álló megfigyelési eszközök, amelyeket érdemes lenne megvizsgálni.

Az adatok megfigyelhetőségének jelentősége

A nagy adatfolyamokkal foglalkozó szervezeteknél a megfigyelhetőség felhasználható az adatrendszer egészének figyelésére, és piros zászlók küldésére, ha probléma jelentkezik. 

Miközben a vállalkozások hatalmas mennyiségű adatot gyűjtenek össze különféle forrásokból, rendszereket fejlesztenek ezek kezelésére, rétegről rétegre. Ezek a rendszerek adattárolást, adatfolyamokat és számos eszközt tartalmaznak. Minden további összetettségi réteg növeli az adatleállások esélyét olyan problémák miatt, mint például az összeférhetetlenség vagy a régi és hiányzó adatok.

Yackel szerint „Az adatok megfigyelhetőségének folyamatos használata az adatfolyamatok, adatkészletek és adattáblázatok figyelésére figyelmezteti az adatcsapatokat, ha adatincidens történik, és megmutatja, hogyan javítsák ki a kiváltó okot, még mielőtt az üzleti tevékenységüket érintené. Az adatok megfigyelhetőségével a mérnökök a meghibásodott folyamatok karbantartása helyett nagyszerű adattermékek létrehozására összpontosíthatnak.” 

Az adatok megfigyelhetősége segít a vállalkozásoknak abban, hogy proaktívan azonosítsák a csővezeték-problémák, az adathibák és az adatáramlási inkonzisztenciák forrását az ügyfélkapcsolatok megerősítése és az adatminőség javítása érdekében.

A kép a Shutterstock.com licence alapján lett felhasználva

Időbélyeg:

Még több ADATVERZITÁS