IBM Databand: Självlärande för upptäckt av anomalier – IBM Blog

För nästan ett år sedan stötte IBM på ett datavalideringsproblem under ett av våra tidskänsliga dataflöden för fusioner och förvärv. Vi stod inför flera utmaningar när vi arbetade för att lösa problemet, inklusive felsökning, identifiera problemet, fixa dataflödet, göra ändringar i nedströms datapipelines och utföra en ad hoc-körning av ett automatiserat arbetsflöde.

Förbättra dataupplösning och övervakningseffektivitet med Databand

Efter att det omedelbara problemet lösts visade en retrospektiv analys att korrekt datavalidering och intelligent övervakning kan ha lindrat smärtan och påskyndat tiden till lösning. Istället för att utveckla en skräddarsydd lösning enbart för det omedelbara problemet, sökte IBM en allmänt användbar datavalideringslösning som kan hantera inte bara detta scenario utan även potentiella förbisedda problem.  

Det var då jag upptäckte en av våra nyligen förvärvade produkter, IBM® Databand® för dataobservation. Till skillnad från traditionella övervakningsverktyg med regelbaserad övervakning eller hundratals specialutvecklade övervakningsskript, erbjuder Databand självlärande övervakning. Den observerar tidigare databeteende och identifierar avvikelser som överskrider vissa tröskelvärden. Denna maskininlärningsfunktion gör det möjligt för användare att övervaka data med minimal regelkonfiguration och avvikelsedetektering, även om de har begränsad kunskap om data eller dess beteendemönster.

Optimera observerbarheten av dataflödet med Databands självlärande övervakning

Databand tar hänsyn till dataflödets historiska beteende och flaggar misstänkta aktiviteter samtidigt som användaren varnas. IBM integrerade Databand i vårt dataflöde, som omfattade över 100 pipelines. Det gav lätt observerbara statusuppdateringar för alla körningar och pipelines och, ännu viktigare, markerade fel. Detta gjorde att vi kunde koncentrera oss på och påskynda åtgärden av dataflödesincidenter.

Databand för dataobservation använder självlärande för att övervaka följande:  

• Schemaändringar: När en schemaändring upptäcks flaggar Databand den på en instrumentpanel och skickar en varning. Alla som arbetar med data har sannolikt stött på scenarier där en datakälla genomgår schemaändringar, som att lägga till eller ta bort kolumner. Dessa förändringar påverkar arbetsflöden, som i sin tur påverkar nedströms bearbetning av datapipeline, vilket leder till en ringeffekt. Databand kan analysera schemahistorik och omedelbart varna oss om eventuella avvikelser, vilket förhindrar potentiella störningar.
• Inverkan på servicenivåavtal (SLA): Databand visar datalinje och identifierar nedströms datapipelines som påverkas av ett datapipelinefel. Om det finns en SLA definierad för dataleverans hjälper varningar att känna igen och upprätthålla SLA-efterlevnad.
• Avvikelser i prestanda och körtid: Databand övervakar varaktigheten av datapipelinekörningar och lär sig att upptäcka anomalier, flagga dem vid behov. Användare behöver inte vara medvetna om pipelinens varaktighet; Databand lär sig av sina historiska data.
• Status: Databand övervakar status för körningar, inklusive om de är misslyckade, avbrutna eller framgångsrika.
• Datavalidering: Databand observerar datavärdesintervall över tid och skickar en varning när anomalier upptäcks. Detta inkluderar typisk statistik som medelvärde, standardavvikelse, minimum, maximum och kvartiler.

Transformativa databandsvarningar för förbättrade datapipelines

Användare kan ställa in varningar genom att använda Databands användargränssnitt, som är okomplicerat och har en intuitiv instrumentpanel som övervakar och stöder arbetsflöden. Det ger en djupgående synlighet genom riktade acykliska grafer, vilket är användbart när man hanterar många datapipelines. Detta allt-i-ett-system ger supportteam möjlighet att fokusera på områden som kräver uppmärksamhet, vilket gör det möjligt för dem att påskynda leveranser.

IBM Enterprise Datas sammanslagningar och förvärv har gjort det möjligt för oss att förbättra våra datapipelines med Databand, och vi har inte sett tillbaka. Vi är glada över att kunna erbjuda dig denna transformativa programvara som hjälper till att identifiera dataincidenter tidigare, lösa dem snabbare och leverera mer tillförlitlig data till företag.

Leverera tillförlitliga data med kontinuerlig dataobservbarhet

Läs Gartners rapport