IBM Databand: Self-learning for anomali detection – IBM Blog

For næsten et år siden stødte IBM på et datavalideringsproblem under et af vores tidsfølsomme fusions- og opkøbsdatastrømme. Vi stod over for adskillige udfordringer, mens vi arbejdede på at løse problemet, herunder fejlfinding, identifikation af problemet, fiksering af dataflowet, ændringer af downstream-datapipelines og udførelse af en ad hoc-kørsel af en automatiseret arbejdsgang.

Forbedring af dataopløsning og overvågningseffektivitet med Databand

Efter at det umiddelbare problem var løst, viste en retrospektiv analyse, at korrekt datavalidering og intelligent overvågning kunne have lindret smerten og fremskyndet tiden til løsning. I stedet for at udvikle en skræddersyet løsning udelukkende til den umiddelbare bekymring, søgte IBM en bredt anvendelig datavalideringsløsning, der ikke kun kunne håndtere dette scenarie, men også potentielle oversete problemer.  

Det var da jeg opdagede et af vores nyligt erhvervede produkter, IBM® Databand® til dataobservation. I modsætning til traditionelle overvågningsværktøjer med regelbaseret overvågning eller hundredvis af specialudviklede overvågningsscripts tilbyder Databand selvlærende overvågning. Den observerer tidligere dataadfærd og identificerer afvigelser, der overstiger visse tærskler. Denne maskinlæringsfunktion gør det muligt for brugere at overvåge data med minimal regelkonfiguration og registrering af anomalier, selvom de har begrænset viden om dataene eller deres adfærdsmønstre.

Optimering af observerbarhed af dataflow med Databands selvlærende overvågning

Databand tager hensyn til datastrømmens historiske adfærd og markerer mistænkelige aktiviteter, mens brugeren advares. IBM integrerede Databand i vores dataflow, som omfattede over 100 pipelines. Det gav let observerbare statusopdateringer for alle kørsler og pipelines og, endnu vigtigere, fremhævede fejl. Dette gjorde det muligt for os at koncentrere os om og fremskynde afhjælpningen af ​​dataflow-hændelser.

Databånd til dataobservabilitet bruger selvlæring til at overvåge følgende:  

• Skemaændringer: Når en skemaændring registreres, markerer Databand den på et dashboard og sender en advarsel. Enhver, der arbejder med data, er sandsynligvis stødt på scenarier, hvor en datakilde gennemgår skemaændringer, såsom tilføjelse eller fjernelse af kolonner. Disse ændringer påvirker arbejdsgange, som igen påvirker downstream datapipelinebehandling, hvilket fører til en ringvirkning. Databand kan analysere skemahistorik og omgående advare os om eventuelle uregelmæssigheder, hvilket forhindrer potentielle forstyrrelser.
• Indvirkning på serviceniveauaftale (SLA): Databånd viser dataafstamning og identificerer downstream datapipelines, der er påvirket af en datapipelinefejl. Hvis der er defineret en SLA til datalevering, hjælper advarsler med at genkende og vedligeholde SLA-overholdelse.
• Uregelmæssigheder i ydeevne og kørselstid: Databånd overvåger varigheden af ​​datapipeline-kørsler og lærer at opdage uregelmæssigheder og markerer dem, når det er nødvendigt. Brugere behøver ikke at være opmærksomme på pipelinens varighed; Databand lærer af sine historiske data.
• Status: Databand overvåger status for kørsler, herunder om de er mislykkede, annullerede eller succesfulde.
• Data validering: Databånd observerer dataværdiintervaller over tid og sender en advarsel ved opdagelse af uregelmæssigheder. Dette inkluderer typiske statistikker såsom middelværdi, standardafvigelse, minimum, maksimum og kvartiler.

Transformative databåndadvarsler for forbedrede datapipelines

Brugere kan indstille alarmer ved at bruge Databand-brugergrænsefladen, som er ukompliceret og har et intuitivt dashboard, der overvåger og understøtter arbejdsgange. Det giver dybdegående synlighed gennem rettede acykliske grafer, hvilket er nyttigt, når man har at gøre med mange datapipelines. Dette alt-i-et-system giver supportteams mulighed for at fokusere på områder, der kræver opmærksomhed, hvilket gør dem i stand til at fremskynde leveringer.

IBM Enterprise Datas fusioner og opkøb har gjort os i stand til at forbedre vores datapipelines med Databand, og vi har ikke set os tilbage. Vi er glade for at kunne tilbyde dig denne transformative software, der hjælper med at identificere datahændelser tidligere, løse dem hurtigere og levere mere pålidelige data til virksomheder.

Lever pålidelige data med kontinuerlig dataobservation

Læs Gartner-rapporten