IBM Databand: خودآموزی برای تشخیص ناهنجاری - وبلاگ IBM

تقریباً یک سال پیش، آی‌بی‌ام در جریان یکی از جریان‌های داده ادغام‌ها و اکتساب‌های حساس به زمان، با مشکل اعتبارسنجی داده‌ها مواجه شد. در حین کار برای حل این مشکل با چالش‌های متعددی مواجه شدیم، از جمله عیب‌یابی، شناسایی مشکل، رفع جریان داده، ایجاد تغییرات در خطوط لوله داده‌های پایین دستی و اجرای یک جریان کاری خودکار.

افزایش وضوح داده و کارایی نظارت با Databand

پس از حل مشکل فوری، یک تجزیه و تحلیل گذشته نگر نشان داد که اعتبارسنجی داده ها و نظارت هوشمندانه ممکن است درد را کاهش داده و زمان حل را تسریع کند. به جای توسعه یک راه حل سفارشی صرفاً برای نگرانی فوری، IBM به دنبال یک راه حل اعتبارسنجی داده با کاربرد گسترده بود که بتواند نه تنها با این سناریو، بلکه همچنین مشکلات نادیده گرفته شده احتمالی را مدیریت کند.  

این زمانی بود که یکی از محصولات اخیراً خریداری شده خود را کشف کردم، IBM® Databand® برای قابلیت مشاهده داده ها. بر خلاف ابزارهای نظارت سنتی با نظارت مبتنی بر قانون یا صدها اسکریپت نظارت سفارشی توسعه یافته، Databand نظارت خودآموز را ارائه می دهد. رفتار داده های گذشته را مشاهده می کند و انحرافاتی را که از آستانه های خاصی فراتر می رود، شناسایی می کند. این قابلیت یادگیری ماشینی کاربران را قادر می سازد تا داده ها را با حداقل پیکربندی قوانین و تشخیص ناهنجاری نظارت کنند، حتی اگر دانش محدودی در مورد داده ها یا الگوهای رفتاری آن داشته باشند.

بهینه سازی قابلیت مشاهده جریان داده با نظارت خودآموز Databand

Databand رفتار تاریخی جریان داده را در نظر می گیرد و ضمن هشدار به کاربر، فعالیت های مشکوک را علامت گذاری می کند. IBM Databand را در جریان داده ما که شامل بیش از 100 خط لوله است، ادغام کرد. به‌روزرسانی‌های وضعیت به‌راحتی قابل مشاهده را برای همه اجراها و خطوط لوله ارائه می‌کند و مهم‌تر از آن، خرابی‌ها را برجسته می‌کند. این به ما این امکان را می‌دهد که روی اصلاح حوادث جریان داده تمرکز کرده و آن را تسریع کنیم.

باند داده برای مشاهده پذیری داده ها از خودآموزی برای نظارت بر موارد زیر استفاده می کند:  

• تغییرات طرحواره: هنگامی که تغییر طرح شناسایی می شود، Databand آن را روی داشبورد پرچم گذاری می کند و یک هشدار ارسال می کند. هر فردی که با داده کار می کند احتمالاً با سناریوهایی مواجه شده است که در آن منبع داده تحت تغییرات طرحواره قرار می گیرد، مانند اضافه کردن یا حذف ستون ها. این تغییرات بر جریان‌های کاری تأثیر می‌گذارد، که به نوبه خود بر پردازش خط لوله داده‌های پایین‌دستی تأثیر می‌گذارد و منجر به اثر امواج می‌شود. باند داده می تواند تاریخچه طرحواره را تجزیه و تحلیل کند و به سرعت ما را در مورد هر گونه ناهنجاری آگاه کند و از اختلالات احتمالی جلوگیری کند.
• تأثیر قرارداد سطح خدمات (SLA): Databand خط و نسب داده ها را نشان می دهد و خطوط لوله داده های پایین دستی را که تحت تأثیر خرابی خط لوله داده قرار گرفته اند را شناسایی می کند. اگر SLA برای تحویل داده تعریف شده باشد، هشدارها به شناسایی و حفظ انطباق SLA کمک می کنند.
• ناهنجاری های عملکرد و زمان اجرا: Databand مدت زمان اجرای خط لوله داده را نظارت می کند و یاد می گیرد که ناهنجاری ها را تشخیص دهد و در صورت لزوم آنها را علامت گذاری کند. لازم نیست کاربران از مدت زمان خط لوله آگاه باشند. Databand از داده های تاریخی خود یاد می گیرد.
• وضعیت: باند داده وضعیت اجراها، از جمله عدم موفقیت، لغو یا موفقیت آمیز بودن اجراها را نظارت می کند.
• اعتبار سنجی داده ها: Databand محدوده‌های ارزش داده‌ها را در طول زمان مشاهده می‌کند و با تشخیص ناهنجاری‌ها هشداری ارسال می‌کند. این شامل آمارهای معمولی مانند میانگین، انحراف معیار، حداقل، حداکثر و چارک ها می شود.

هشدارهای انتقال داده باند برای خطوط لوله داده پیشرفته

کاربران می توانند هشدارها را با استفاده از رابط کاربری Databand تنظیم کنند که پیچیده نیست و دارای داشبورد بصری است که گردش کار را نظارت و پشتیبانی می کند. از طریق نمودارهای غیر چرخه ای جهت دهی شده، دید عمیقی را فراهم می کند، که هنگام برخورد با بسیاری از خطوط لوله داده مفید است. این سیستم یکپارچه به تیم‌های پشتیبانی قدرت می‌دهد تا روی مناطقی که نیاز به توجه دارند تمرکز کنند و آنها را قادر می‌سازد تا تحویل‌ها را تسریع کنند.

ادغام و ادغام IBM Enterprise Data به ما این امکان را داده است که خطوط لوله داده خود را با Databand تقویت کنیم و ما به گذشته نگاه نکرده ایم. ما خوشحالیم که این نرم افزار تحول آفرین را به شما پیشنهاد می کنیم که به شناسایی زودتر حوادث داده، حل سریع تر آنها و ارائه داده های قابل اعتمادتر به مشاغل کمک می کند.

ارائه داده های قابل اعتماد با قابلیت مشاهده مداوم داده ها

گزارش گارتنر را بخوانید