IBM Databand: การเรียนรู้ด้วยตนเองเพื่อการตรวจจับความผิดปกติ – IBM Blog

เกือบหนึ่งปีที่ผ่านมา IBM ประสบปัญหาในการตรวจสอบความถูกต้องของข้อมูลในระหว่างหนึ่งในกระแสข้อมูลการควบรวมและเข้าซื้อกิจการที่ไวต่อเวลาของเรา เราเผชิญกับความท้าทายหลายประการในขณะที่เราทำงานเพื่อแก้ไขปัญหา รวมถึงการแก้ไขปัญหา การระบุปัญหา การแก้ไขกระแสข้อมูล การเปลี่ยนแปลงไปป์ไลน์ข้อมูลดาวน์สตรีม และการดำเนินการเฉพาะกิจของเวิร์กโฟลว์อัตโนมัติ

ปรับปรุงความละเอียดข้อมูลและประสิทธิภาพการตรวจสอบด้วย Databand

หลังจากที่ปัญหาเฉพาะหน้าได้รับการแก้ไขแล้ว การวิเคราะห์ย้อนหลังพบว่าการตรวจสอบความถูกต้องของข้อมูลที่เหมาะสมและการตรวจสอบอย่างชาญฉลาดอาจช่วยบรรเทาความเจ็บปวดและเร่งเวลาในการแก้ไขได้ แทนที่จะพัฒนาโซลูชันแบบกำหนดเองสำหรับข้อกังวลเฉพาะหน้าเท่านั้น IBM แสวงหาโซลูชันการตรวจสอบความถูกต้องของข้อมูลที่ใช้งานได้อย่างกว้างขวาง ซึ่งสามารถจัดการไม่เพียงแต่สถานการณ์นี้เท่านั้น แต่ยังรวมไปถึงปัญหาที่อาจมองข้ามอีกด้วย  

นั่นคือตอนที่ฉันค้นพบหนึ่งในผลิตภัณฑ์ที่เพิ่งได้มาของเรา IBM® Databand® สำหรับความสามารถในการสังเกตข้อมูล แตกต่างจากเครื่องมือตรวจสอบแบบดั้งเดิมที่มีการตรวจสอบตามกฎหรือสคริปต์ตรวจสอบที่พัฒนาขึ้นเองหลายร้อยสคริปต์ Databand เสนอการตรวจสอบการเรียนรู้ด้วยตนเอง โดยจะสังเกตพฤติกรรมของข้อมูลในอดีตและระบุความเบี่ยงเบนที่เกินเกณฑ์ที่กำหนด ความสามารถด้านการเรียนรู้ของเครื่องนี้ช่วยให้ผู้ใช้สามารถตรวจสอบข้อมูลด้วยการกำหนดค่ากฎขั้นต่ำและการตรวจจับความผิดปกติ แม้ว่าพวกเขาจะมีความรู้ที่จำกัดเกี่ยวกับข้อมูลหรือรูปแบบพฤติกรรมของข้อมูลก็ตาม

เพิ่มประสิทธิภาพความสามารถในการสังเกตการไหลของข้อมูลด้วยการตรวจสอบการเรียนรู้ด้วยตนเองของ Databand

Databand จะพิจารณาพฤติกรรมในอดีตของโฟลว์ข้อมูลและทำเครื่องหมายกิจกรรมที่น่าสงสัยในขณะที่แจ้งเตือนผู้ใช้ IBM รวม Databand เข้ากับกระแสข้อมูลของเรา ซึ่งประกอบด้วยไปป์ไลน์มากกว่า 100 รายการ โดยให้การอัปเดตสถานะที่สังเกตได้ง่ายสำหรับการวิ่งและไปป์ไลน์ทั้งหมด และที่สำคัญกว่านั้นคือเน้นย้ำถึงความล้มเหลว สิ่งนี้ทำให้เรามีสมาธิและเร่งการแก้ไขเหตุการณ์กระแสข้อมูลได้

Databand สำหรับการสังเกตข้อมูลใช้การเรียนรู้ด้วยตนเองเพื่อตรวจสอบสิ่งต่อไปนี้:  

• การเปลี่ยนแปลงสคีมา: เมื่อตรวจพบการเปลี่ยนแปลงสคีมา Databand จะติดธงบนแดชบอร์ดและส่งการแจ้งเตือน ใครก็ตามที่ทำงานกับข้อมูลอาจพบสถานการณ์ที่แหล่งข้อมูลมีการเปลี่ยนแปลงสคีมา เช่น การเพิ่มหรือลบคอลัมน์ การเปลี่ยนแปลงเหล่านี้ส่งผลกระทบต่อเวิร์กโฟลว์ ซึ่งจะส่งผลต่อการประมวลผลไปป์ไลน์ข้อมูลดาวน์สตรีม ซึ่งนำไปสู่ผลกระทบระลอกคลื่น Databand สามารถวิเคราะห์ประวัติสคีมาและแจ้งเตือนเราทันทีถึงความผิดปกติใดๆ เพื่อป้องกันการหยุดชะงักที่อาจเกิดขึ้น
• ผลกระทบจากข้อตกลงระดับการให้บริการ (SLA): Databand แสดงสายข้อมูลและระบุไปป์ไลน์ข้อมูลดาวน์สตรีมที่ได้รับผลกระทบจากความล้มเหลวของไปป์ไลน์ข้อมูล หากมี SLA ที่กำหนดไว้สำหรับการส่งข้อมูล การแจ้งเตือนจะช่วยจดจำและรักษาการปฏิบัติตาม SLA
• ความผิดปกติของประสิทธิภาพและรันไทม์: Databand จะตรวจสอบระยะเวลาของไปป์ไลน์ข้อมูลและเรียนรู้ที่จะตรวจจับความผิดปกติ และแจ้งความผิดปกติเมื่อจำเป็น ผู้ใช้ไม่จำเป็นต้องทราบระยะเวลาของไปป์ไลน์ Databand เรียนรู้จากข้อมูลในอดีต
• สถานะ: Databand ติดตามสถานะของการรัน รวมถึงไม่ว่าจะล้มเหลว ยกเลิก หรือสำเร็จ
• การตรวจสอบข้อมูล: Databand จะสังเกตช่วงค่าข้อมูลในช่วงเวลาต่างๆ และส่งการแจ้งเตือนเมื่อตรวจพบความผิดปกติ ซึ่งรวมถึงสถิติทั่วไป เช่น ค่าเฉลี่ย ส่วนเบี่ยงเบนมาตรฐาน ต่ำสุด สูงสุด และควอไทล์

การแจ้งเตือน Databand การเปลี่ยนแปลงสำหรับไปป์ไลน์ข้อมูลที่ปรับปรุง

ผู้ใช้สามารถตั้งค่าการแจ้งเตือนได้โดยใช้อินเทอร์เฟซผู้ใช้ Databand ซึ่งไม่ซับซ้อนและมีแดชบอร์ดที่ใช้งานง่ายที่ตรวจสอบและสนับสนุนขั้นตอนการทำงาน โดยให้การมองเห็นในเชิงลึกผ่านกราฟอะไซคลิกโดยตรง ซึ่งมีประโยชน์เมื่อต้องจัดการกับไปป์ไลน์ข้อมูลจำนวนมาก ระบบออลอินวันนี้ช่วยให้ทีมสนับสนุนมุ่งเน้นไปที่พื้นที่ที่ต้องการความสนใจ ช่วยให้พวกเขาสามารถเร่งการส่งมอบได้

การควบรวมและซื้อกิจการของ IBM Enterprise Data ช่วยให้เราสามารถปรับปรุงไปป์ไลน์ข้อมูลของเราด้วย Databand และเราไม่ได้มองย้อนกลับไป เรารู้สึกตื่นเต้นที่จะนำเสนอซอฟต์แวร์การเปลี่ยนแปลงที่ช่วยระบุเหตุการณ์ของข้อมูลได้ตั้งแต่เนิ่นๆ แก้ไขได้เร็วขึ้น และส่งมอบข้อมูลที่เชื่อถือได้มากขึ้นให้กับธุรกิจ

ส่งมอบข้อมูลที่เชื่อถือได้พร้อมความสามารถในการสังเกตข้อมูลอย่างต่อเนื่อง

อ่านรายงานของการ์ตเนอร์