IBM Databand: Samoučenje za odkrivanje nepravilnosti – IBM-ov blog

Pred skoraj enim letom je IBM med enim od naših časovno občutljivih tokov podatkov o združitvah in prevzemih naletel na težavo pri preverjanju podatkov. Pri reševanju težave smo se soočili z več izzivi, vključno z odpravljanjem težav, prepoznavanjem težave, popravkom pretoka podatkov, spreminjanjem nadaljnjih podatkovnih cevovodov in izvajanjem ad hoc zagona avtomatiziranega poteka dela.

Izboljšanje ločljivosti podatkov in učinkovitosti spremljanja z Databandom

Ko je bila takojšnja težava odpravljena, je retrospektivna analiza pokazala, da bi lahko pravilno preverjanje podatkov in inteligentno spremljanje ublažila bolečino in pospešila čas do rešitve. Namesto da bi razvil rešitev po meri izključno za takojšnjo skrb, je IBM poiskal široko uporabno rešitev za preverjanje veljavnosti podatkov, ki je sposobna obravnavati ne le ta scenarij, ampak tudi morebitne spregledane težave.  

Takrat sem odkril enega od naših nedavno pridobljenih izdelkov, IBM® Databand® za opazovanje podatkov. Za razliko od tradicionalnih orodij za spremljanje s spremljanjem na podlagi pravil ali stotinami po meri razvitih skriptov za spremljanje, Databand ponuja samoučeče se spremljanje. Opazuje preteklo vedenje podatkov in identificira odstopanja, ki presegajo določene pragove. Ta zmožnost strojnega učenja uporabnikom omogoča spremljanje podatkov z minimalno konfiguracijo pravil in zaznavanjem nepravilnosti, tudi če imajo omejeno znanje o podatkih ali njihovih vedenjskih vzorcih.

Optimizacija opazovanja pretoka podatkov s samoučečim se nadzorom Databand

Databand upošteva zgodovinsko vedenje toka podatkov in označi sumljive dejavnosti, medtem ko opozori uporabnika. IBM je integriral Databand v naš pretok podatkov, ki je obsegal več kot 100 cevovodov. Zagotovil je lahko opazne posodobitve statusa za vse zagone in cevovode in, kar je še pomembneje, poudaril napake. To nam je omogočilo, da smo se osredotočili na in pospešili sanacijo incidentov v pretoku podatkov.

Databand za opazovanje podatkov uporablja samoučenje za spremljanje naslednjega:  

• Spremembe sheme: Ko je zaznana sprememba sheme, jo Databand označi na nadzorni plošči in pošlje opozorilo. Vsakdo, ki dela s podatki, se je verjetno srečal s scenariji, v katerih je izvor podatkov podvržen spremembam sheme, na primer dodajanju ali odstranjevanju stolpcev. Te spremembe vplivajo na delovne tokove, ki posledično vplivajo na obdelavo podatkovnega cevovoda na nižji stopnji, kar povzroči učinek valovanja. Databand lahko analizira zgodovino sheme in nas nemudoma opozori na morebitne anomalije ter tako prepreči morebitne motnje.
• Vpliv sporazuma o ravni storitev (SLA): Podatkovni pas prikazuje podatkovno linijo in identificira spodnje podatkovne cevovode, na katere vpliva okvara podatkovnega cevovoda. Če je za dostavo podatkov določen SLA, opozorila pomagajo prepoznati in vzdrževati skladnost s SLA.
• Anomalije v zmogljivosti in času izvajanja: Databand spremlja trajanje poteka podatkovnega cevovoda in se nauči odkrivati ​​nepravilnosti ter jih po potrebi označi. Uporabnikom ni treba vedeti o trajanju cevovoda; Databand se uči iz svojih zgodovinskih podatkov.
• Status: Databand spremlja status izvajanj, vključno s tem, ali so neuspešni, preklicani ali uspešni.
• Preverjanje podatkov: Databand opazuje razpone vrednosti podatkov skozi čas in pošlje opozorilo, ko zazna anomalije. To vključuje tipične statistične podatke, kot so povprečje, standardni odklon, minimum, maksimum in kvartili.

Transformative Databand opozorila za izboljšane podatkovne cevovode

Uporabniki lahko nastavijo opozorila z uporabniškim vmesnikom Databand, ki je nezapleten in ima intuitivno nadzorno ploščo, ki spremlja in podpira poteke dela. Zagotavlja poglobljeno preglednost prek usmerjenih acikličnih grafov, kar je uporabno pri delu s številnimi podatkovnimi kanali. Ta sistem vse v enem omogoča podpornim ekipam, da se osredotočijo na področja, ki zahtevajo pozornost, kar jim omogoča, da pospešijo rezultate.

Združitve in prevzemi podjetja IBM Enterprise Data so nam omogočili izboljšanje podatkovnih cevovodov z Databandom in nismo se ozirali nazaj. Z veseljem vam ponujamo to transformativno programsko opremo, ki pomaga pri zgodnejšem prepoznavanju podatkovnih incidentov, njihovem hitrejšem reševanju in zagotavljanju zanesljivejših podatkov podjetjem.

Zagotovite zanesljive podatke z neprekinjeno opazljivostjo podatkov

Preberite Gartnerjevo poročilo