IBM Databand: Samouczenie się do wykrywania anomalii — blog IBM

Prawie rok temu IBM napotkał problem ze sprawdzaniem poprawności danych podczas jednego z naszych wrażliwych na czas przepływów danych dotyczących fuzji i przejęć. Pracując nad rozwiązaniem tego problemu, stanęliśmy przed kilkoma wyzwaniami, w tym rozwiązywaniem problemów, identyfikacją problemu, naprawą przepływu danych, wprowadzaniem zmian w dalszych potokach danych i wykonywaniem ad hoc zautomatyzowanego przepływu pracy.

Zwiększanie rozdzielczości danych i wydajności monitorowania dzięki Databand

Po rozwiązaniu natychmiastowego problemu retrospektywna analiza wykazała, że ​​właściwa weryfikacja danych i inteligentne monitorowanie mogły złagodzić ból i przyspieszyć czas rozwiązania. Zamiast opracowywać niestandardowe rozwiązanie wyłącznie do natychmiastowych zastosowań, IBM poszukiwał rozwiązania do sprawdzania poprawności danych o szerokim zastosowaniu, które byłoby w stanie obsłużyć nie tylko ten scenariusz, ale także potencjalne przeoczone problemy.  

Właśnie wtedy odkryłem jeden z naszych niedawno nabytych produktów, IBM® Databand® umożliwiający obserwowanie danych. W przeciwieństwie do tradycyjnych narzędzi monitorujących z monitorowaniem opartym na regułach lub setkami niestandardowych skryptów monitorujących, Databand oferuje monitorowanie samouczące się. Obserwuje zachowanie danych w przeszłości i identyfikuje odchylenia przekraczające określone progi. Ta funkcja uczenia maszynowego umożliwia użytkownikom monitorowanie danych przy minimalnej konfiguracji reguł i wykrywaniu anomalii, nawet jeśli mają ograniczoną wiedzę na temat danych lub ich wzorców zachowań.

Optymalizacja obserwowalności przepływu danych dzięki samouczącemu się monitorowaniu Databand

Databand uwzględnia historyczne zachowanie przepływu danych i sygnalizuje podejrzane działania, jednocześnie ostrzegając użytkownika. IBM zintegrował Databand z naszym przepływem danych, który składał się z ponad 100 potoków. Zapewniało łatwo obserwowalne aktualizacje statusu wszystkich przebiegów i rurociągów oraz, co ważniejsze, uwydatniało awarie. Pozwoliło nam to skoncentrować się na i przyspieszyć eliminowanie incydentów związanych z przepływem danych.

Pasmo danych do obserwacji danych wykorzystuje samouczenie się do monitorowania:  

• Zmiany schematu: Po wykryciu zmiany schematu Databand flaguje ją na pulpicie nawigacyjnym i wysyła alert. Każdy, kto pracuje z danymi, prawdopodobnie spotkał się ze scenariuszami, w których źródło danych podlega zmianom schematu, takim jak dodawanie lub usuwanie kolumn. Zmiany te wpływają na przepływy pracy, które z kolei wpływają na dalsze przetwarzanie potoku danych, prowadząc do efektu domina. Databand może analizować historię schematów i natychmiast ostrzegać nas o wszelkich anomaliach, zapobiegając potencjalnym zakłóceniom.
• Wpływ umowy o poziomie usług (SLA): Pasmo danych pokazuje pochodzenie danych i identyfikuje dalsze potoki danych dotknięte awarią potoku danych. Jeśli zdefiniowano umowę SLA na dostarczanie danych, alerty pomagają rozpoznać i utrzymać zgodność z umową SLA.
• Anomalie wydajności i czasu działania: Databand monitoruje czas trwania uruchomień potoków danych i uczy się wykrywać anomalie, flagując je w razie potrzeby. Użytkownicy nie muszą być świadomi czasu trwania rurociągu; Databand uczy się na swoich danych historycznych.
• Status: Databand monitoruje status przebiegów, w tym informację o ich niepowodzeniu, anulowaniu lub pomyślnym wyniku.
• Walidacji danych: Databand obserwuje zakresy wartości danych w czasie i wysyła alert w przypadku wykrycia anomalii. Obejmuje to typowe statystyki, takie jak średnia, odchylenie standardowe, minimum, maksimum i kwartyle.

Transformacyjne alerty pasma danych dla ulepszonych potoków danych

Użytkownicy mogą ustawiać alerty za pomocą interfejsu użytkownika Databand, który jest nieskomplikowany i zawiera intuicyjny pulpit nawigacyjny monitorujący i obsługujący przepływy pracy. Zapewnia dogłębną widoczność dzięki ukierunkowanym grafom acyklicznym, co jest przydatne w przypadku wielu potoków danych. Ten kompleksowy system umożliwia zespołom wsparcia skupienie się na obszarach wymagających uwagi, co pozwala im przyspieszyć dostarczanie rezultatów.

Fuzje i przejęcia IBM Enterprise Data umożliwiły nam ulepszenie naszych potoków danych dzięki Databand i nie oglądaliśmy się wstecz. Cieszymy się, że możemy zaoferować Ci to rewolucyjne oprogramowanie, które pomaga wcześniej identyfikować incydenty związane z danymi, szybciej je rozwiązywać i dostarczać firmom bardziej niezawodne dane.

Dostarczaj wiarygodne dane dzięki ciągłej możliwości ich obserwacji

Przeczytaj raport Gartnera