IBM Databand: Auto-învățare pentru detectarea anomaliilor – IBM Blog

În urmă cu aproape un an, IBM a întâmpinat o problemă de validare a datelor în timpul unuia dintre fluxurile noastre de date legate de fuziuni și achiziții, care necesită timp. Ne-am confruntat cu mai multe provocări în timp ce lucram pentru a rezolva problema, inclusiv depanarea, identificarea problemei, remedierea fluxului de date, efectuarea de modificări la conductele de date din aval și efectuarea unei rulări ad-hoc a unui flux de lucru automatizat.

Îmbunătățirea rezoluției datelor și eficiența monitorizării cu Databand

După ce problema imediată a fost rezolvată, o analiză retrospectivă a arătat că validarea adecvată a datelor și monitorizarea inteligentă ar fi putut atenua durerea și ar fi accelerat timpul până la rezolvare. În loc să dezvolte o soluție personalizată exclusiv pentru preocuparea imediată, IBM a căutat o soluție de validare a datelor aplicabilă pe scară largă, capabilă să gestioneze nu numai acest scenariu, ci și potențialele probleme trecute cu vederea.  

Atunci am descoperit unul dintre produsele noastre recent achiziționate, IBM® Databand® pentru observabilitatea datelor. Spre deosebire de instrumentele tradiționale de monitorizare cu monitorizare bazată pe reguli sau sute de scripturi de monitorizare dezvoltate personalizat, Databand oferă monitorizare auto-învățare. Acesta observă comportamentul datelor din trecut și identifică abaterile care depășesc anumite praguri. Această capacitate de învățare automată le permite utilizatorilor să monitorizeze datele cu o configurație minimă a regulilor și cu detectarea anomaliilor, chiar dacă au cunoștințe limitate despre date sau despre modelele lor comportamentale.

Optimizarea observabilității fluxului de date cu monitorizarea de auto-învățare Databand

Databand ia în considerare comportamentul istoric al fluxului de date și semnalează activitățile suspecte în timp ce alertează utilizatorul. IBM a integrat Databand în fluxul nostru de date, care cuprindea peste 100 de conducte. A oferit actualizări de stare ușor de observat pentru toate rulările și conductele și, mai important, a evidențiat defecțiunile. Acest lucru ne-a permis să ne concentrăm și să accelerăm remedierea incidentelor legate de fluxul de date.

Databand pentru observabilitatea datelor utilizează auto-învățarea pentru a monitoriza următoarele:  

• Schimbări de schemă: Când este detectată o modificare a schemei, Databand o semnalează pe un tablou de bord și trimite o alertă. Oricine lucrează cu date a întâlnit probabil scenarii în care o sursă de date suferă modificări ale schemei, cum ar fi adăugarea sau eliminarea coloanelor. Aceste modificări afectează fluxurile de lucru, care, la rândul lor, afectează procesarea conductei de date din aval, ducând la un efect de ondulare. Databand poate analiza istoricul schemei și ne poate avertiza cu promptitudine asupra oricăror anomalii, prevenind potențialele întreruperi.
• Impactul acordului de nivel de serviciu (SLA): Databand arată descendența datelor și identifică conductele de date din aval afectate de o defecțiune a conductei de date. Dacă există un SLA definit pentru livrarea datelor, alertele ajută la recunoașterea și menținerea conformității SLA.
• Anomalii de performanță și de rulare: Databand monitorizează durata rulării conductei de date și învață să detecteze anomaliile, semnalându-le atunci când este necesar. Utilizatorii nu trebuie să fie conștienți de durata conductei; Databand învață din datele sale istorice.
• Statut: Databand monitorizează starea execuțiilor, inclusiv dacă au eșuat, anulat sau reușit.
• Data validarii: Databand observă intervalele de valori ale datelor în timp și trimite o alertă la detectarea anomaliilor. Aceasta include statistici tipice, cum ar fi media, abaterea standard, minim, maxim și quartile.

Alerte de bandă de date transformatoare pentru conducte de date îmbunătățite

Utilizatorii pot seta alerte folosind interfața de utilizator Databand, care este simplă și are un tablou de bord intuitiv care monitorizează și acceptă fluxurile de lucru. Oferă vizibilitate în profunzime prin grafice aciclice direcționate, ceea ce este util atunci când aveți de-a face cu multe conducte de date. Acest sistem all-in-one permite echipelor de asistență să se concentreze asupra zonelor care necesită atenție, permițându-le să accelereze livrabile.

Fuziunile și achizițiile IBM Enterprise Data ne-au permis să ne îmbunătățim conductele de date cu Databand și nu ne-am uitat înapoi. Suntem încântați să vă oferim acest software transformator care ajută la identificarea mai devreme a incidentelor de date, la rezolvarea lor mai rapidă și la furnizarea de date mai fiabile companiilor.

Furnizați date fiabile cu observabilitate continuă a datelor

Citiți raportul Gartner