IBM Databand: Selvlærende for deteksjon av anomalier – IBM Blog

For nesten et år siden møtte IBM et datavalideringsproblem under en av våre tidssensitive dataflyter for fusjoner og oppkjøp. Vi møtte flere utfordringer mens vi jobbet med å løse problemet, inkludert feilsøking, identifisering av problemet, fikse dataflyten, gjøre endringer i nedstrøms datapipelines og utføre en ad hoc-kjøring av en automatisert arbeidsflyt.

Forbedrer dataoppløsning og overvåkingseffektivitet med Databand

Etter at det umiddelbare problemet var løst, avslørte en retrospektiv analyse at riktig datavalidering og intelligent overvåking kan ha lindret smerten og akselerert tiden til løsning. I stedet for å utvikle en tilpasset løsning utelukkende for den umiddelbare bekymringen, søkte IBM en allment anvendelig datavalideringsløsning som var i stand til å håndtere ikke bare dette scenariet, men også potensielle oversett problemer.  

Det var da jeg oppdaget et av våre nylig anskaffede produkter, IBM® Databand® for dataobservasjon. I motsetning til tradisjonelle overvåkingsverktøy med regelbasert overvåking eller hundrevis av spesialutviklede overvåkingsskript, tilbyr Databand selvlærende overvåking. Den observerer tidligere dataadferd og identifiserer avvik som overskrider visse terskler. Denne maskinlæringsevnen gjør det mulig for brukere å overvåke data med minimal regelkonfigurasjon og avviksdeteksjon, selv om de har begrenset kunnskap om dataene eller deres atferdsmønstre.

Optimalisering av observerbarhet av dataflyt med Databands selvlærende overvåking

Databand vurderer dataflytens historiske oppførsel og flagger mistenkelige aktiviteter samtidig som brukeren varsles. IBM integrerte Databand i dataflyten vår, som omfattet over 100 rørledninger. Den ga lett observerbare statusoppdateringer for alle løp og rørledninger og, enda viktigere, uthevede feil. Dette tillot oss å konsentrere oss om og akselerere utbedring av dataflythendelser.

Databånd for dataobservabilitet bruker selvlæring for å overvåke følgende:  

• Skjemaendringer: Når en skjemaendring oppdages, flagger Databand den på et dashbord og sender et varsel. Alle som jobber med data har sannsynligvis støtt på scenarier der en datakilde gjennomgår skjemaendringer, for eksempel å legge til eller fjerne kolonner. Disse endringene påvirker arbeidsflyter, som igjen påvirker nedstrøms datapipeline-behandling, noe som fører til en ringvirkning. Databand kan analysere skjemahistorikk og umiddelbart varsle oss om eventuelle uregelmessigheter, og forhindre potensielle forstyrrelser.
• Innvirkning på tjenestenivåavtalen (SLA): Databånd viser datalinje og identifiserer nedstrøms datarørledninger som er berørt av en datarørledningsfeil. Hvis det er en SLA definert for datalevering, hjelper varsler med å gjenkjenne og opprettholde SLA-samsvar.
• Avvik i ytelse og kjøretid: Databånd overvåker varigheten av datapipeline-kjøringer og lærer å oppdage anomalier, flagger dem når det er nødvendig. Brukere trenger ikke å være klar over rørledningens varighet; Databand lærer av sine historiske data.
• Status: Databand overvåker statusen til kjøringer, inkludert om de er mislykket, kansellert eller vellykket.
• Datavalidering: Databånd observerer dataverdiområder over tid og sender et varsel ved oppdagelse av uregelmessigheter. Dette inkluderer typisk statistikk som gjennomsnitt, standardavvik, minimum, maksimum og kvartiler.

Transformative databåndvarsler for forbedrede datapipelines

Brukere kan angi varsler ved å bruke Databand-brukergrensesnittet, som er ukomplisert og har et intuitivt dashbord som overvåker og støtter arbeidsflyter. Det gir dybdesynlighet gjennom rettet asykliske grafer, noe som er nyttig når du arbeider med mange datarørledninger. Dette alt-i-ett-systemet gir støtteteamene mulighet til å fokusere på områder som krever oppmerksomhet, noe som gjør dem i stand til å akselerere leveranser.

IBM Enterprise Datas fusjoner og oppkjøp har gjort det mulig for oss å forbedre datapipelinene våre med Databand, og vi har ikke sett tilbake. Vi er glade for å tilby deg denne transformative programvaren som hjelper til med å identifisere datahendelser tidligere, løse dem raskere og levere mer pålitelige data til bedrifter.

Lever pålitelige data med kontinuerlig dataobservasjon

Les Gartner-rapporten