IBM Databand: Selbstlernend zur Anomalieerkennung – IBM Blog

Vor fast einem Jahr stieß IBM während eines unserer zeitkritischen Datenflüsse bei Fusionen und Übernahmen auf ein Datenvalidierungsproblem. Während wir an der Lösung des Problems arbeiteten, standen wir vor mehreren Herausforderungen, darunter Fehlerbehebung, Identifizierung des Problems, Beheben des Datenflusses, Vornehmen von Änderungen an nachgelagerten Datenpipelines und Durchführen einer Ad-hoc-Ausführung eines automatisierten Workflows.

Verbessern Sie die Datenauflösung und Überwachungseffizienz mit Databand

Nachdem das unmittelbare Problem gelöst war, ergab eine retrospektive Analyse, dass eine ordnungsgemäße Datenvalidierung und intelligente Überwachung die Schmerzen möglicherweise gelindert und die Zeit bis zur Lösung verkürzt hätten. Anstatt eine individuelle Lösung ausschließlich für das unmittelbare Problem zu entwickeln, suchte IBM nach einer allgemein anwendbaren Datenvalidierungslösung, die nicht nur dieses Szenario, sondern auch potenziell übersehene Probleme bewältigen kann.  

Da entdeckte ich eines unserer kürzlich erworbenen Produkte, IBM® Databand® für Datenbeobachtbarkeit. Im Gegensatz zu herkömmlichen Überwachungstools mit regelbasierter Überwachung oder Hunderten von individuell entwickelten Überwachungsskripten bietet Databand eine selbstlernende Überwachung. Es beobachtet das Datenverhalten in der Vergangenheit und identifiziert Abweichungen, die bestimmte Schwellenwerte überschreiten. Diese maschinelle Lernfunktion ermöglicht es Benutzern, Daten mit minimaler Regelkonfiguration und Anomalieerkennung zu überwachen, selbst wenn sie nur begrenzte Kenntnisse über die Daten oder ihre Verhaltensmuster haben.

Optimieren Sie die Beobachtbarkeit des Datenflusses mit der selbstlernenden Überwachung von Databand

Databand berücksichtigt das historische Verhalten des Datenflusses, markiert verdächtige Aktivitäten und warnt den Benutzer. IBM hat Databand in unseren Datenfluss integriert, der über 100 Pipelines umfasste. Es lieferte leicht erkennbare Statusaktualisierungen für alle Läufe und Pipelines und, was noch wichtiger ist, markierte Fehler. Dadurch konnten wir uns auf die Behebung von Datenflussvorfällen konzentrieren und diese beschleunigen.

Databand zur Datenbeobachtbarkeit nutzt Selbstlernen, um Folgendes zu überwachen:  

• Schemaänderungen: Wenn eine Schemaänderung erkannt wird, markiert Databand diese auf einem Dashboard und sendet eine Warnung. Jeder, der mit Daten arbeitet, ist wahrscheinlich schon auf Szenarien gestoßen, in denen eine Datenquelle Schemaänderungen erfährt, beispielsweise das Hinzufügen oder Entfernen von Spalten. Diese Änderungen wirken sich auf Arbeitsabläufe aus, die sich wiederum auf die nachgelagerte Datenpipeline-Verarbeitung auswirken, was zu einem Welleneffekt führt. Databand kann den Schemaverlauf analysieren und uns umgehend auf Anomalien aufmerksam machen, um mögliche Störungen zu verhindern.
• Auswirkungen des Service Level Agreements (SLA): Databand zeigt die Datenherkunft an und identifiziert nachgelagerte Datenpipelines, die von einem Datenpipeline-Fehler betroffen sind. Wenn für die Datenbereitstellung ein SLA definiert ist, helfen Warnungen dabei, die SLA-Konformität zu erkennen und aufrechtzuerhalten.
• Leistungs- und Laufzeitanomalien: Databand überwacht die Dauer der Datenpipeline-Läufe und lernt, Anomalien zu erkennen und sie bei Bedarf zu kennzeichnen. Benutzer müssen sich der Dauer der Pipeline nicht bewusst sein; Databand lernt aus seinen historischen Daten.
• Status: Databand überwacht den Status von Läufen, einschließlich der Frage, ob sie fehlgeschlagen, abgebrochen oder erfolgreich sind.
• Datenvalidierung: Databand beobachtet Datenwertbereiche im Laufe der Zeit und sendet eine Warnung, wenn Anomalien erkannt werden. Dazu gehören typische Statistiken wie Mittelwert, Standardabweichung, Minimum, Maximum und Quartile.

Transformative Databand-Warnungen für verbesserte Datenpipelines

Benutzer können Warnungen mithilfe der Databand-Benutzeroberfläche festlegen, die unkompliziert ist und über ein intuitives Dashboard verfügt, das Arbeitsabläufe überwacht und unterstützt. Es bietet detaillierte Einblicke durch gerichtete azyklische Diagramme, was beim Umgang mit vielen Datenpipelines nützlich ist. Dieses All-in-One-System ermöglicht es Supportteams, sich auf Bereiche zu konzentrieren, die Aufmerksamkeit erfordern, und ermöglicht so die Beschleunigung der Ergebnisse.

Die Fusionen und Übernahmen von IBM Enterprise Data haben es uns ermöglicht, unsere Datenpipelines mit Databand zu erweitern, und wir haben nicht zurückgeschaut. Wir freuen uns, Ihnen diese transformative Software anbieten zu können, mit der Sie Datenvorfälle früher erkennen, schneller beheben und Unternehmen zuverlässigere Daten liefern können.

Liefern Sie zuverlässige Daten mit kontinuierlicher Datenbeobachtbarkeit

Lesen Sie den Gartner-Bericht