פוסט זה נכתב בשיתוף עם Hardik Modi, AVP, Threat and Migitation Products ב-NETSCOUT.
NETSCOUT Omnis Threat Horizon היא פלטפורמה גלובלית למודעות לאבטחת סייבר המספקת למשתמשים נראות בהקשרים גבוהים לפעילות האיומים "מעבר לאופק" בנוף ה-DDoS העולמי (Distributed Denial of Service) - איומים שעלולים להשפיע על התעשייה שלהם, על לקוחותיהם או על הספקים שלהם. זה מאפשר למבקרים ליצור פרופילים מותאמים אישית ולהבין את פעילות ה-DDoS הנצפית כמעט בזמן אמת באמצעות פלטפורמת הנראות ATLAS של NETSCOUT. משתמשים יכולים ליצור חשבונות בחינם כדי ליצור פרופילים מותאמים אישית שיובילו להדמיה מבוססת מפה (כמו בצילום המסך הבא) וכן לדיווח סיכום מותאם. התקפות DDoS יכולות להשפיע על שירותים המסופקים דרך האינטרנט. נראות מסוג זה היא המפתח לכל מי שרוצה להבין מה קורה בנוף האיומים. Omnis Threat Horizon זמין באופן כללי מאז אוגוסט 2019.
כדי לספק נראות רציפה בעלות נמוכה לכל משתמש (כדי לאפשר שירות בחינם), צוות הפיתוח של NETSCOUT בחר בסדרה של טכנולוגיות AWS להפעלת האיסוף, האחסון, הניתוח, האחסנה, אימות המשתמש והמשלוח של האפליקציה. במיוחד הם בחרו שירות חיפוש פתוח של אמזון כמנוע הליבה לניתוח. הם מאחסנים את כל רשומות ההתקפה המעובדות ב-OpenSearch Service.
פוסט זה דן באתגרים ובדפוסי העיצוב שבהם השתמש NETSCOUT בדרכה לייצוג הפרטים של כ-10 מיליון התקפות DDoS שנתיות כמעט בזמן אמת.
רקע
NETSCOUT, באמצעות קו המוצרים שלה Arbor, היא ספקית ותיקה של פתרונות לנראות רשת והפחתת DDoS עבור ספקי שירותים וארגונים. מאז 2007, NETSCOUT מפעילה תוכנית בשם ATLAS, שבה לקוחות יכולים לבחור לשתף נתונים אנונימיים על התקפות DDoS שהם צופים ברשת שלהם. ככל שתוכנית זו התבגרה, ל-NETSCOUT יש נראות מקיפה לנוף התקפות ה-DDoS - הן מספר ההתקפות והן אופי. הנראות הזו מיידעת ומשפרת את המוצרים שלהם, ומאפשרת להם לשתף ממצאי ניתוח בצורה של מאמרים, פוסטים בבלוגים ודוח איומים דו-שנתי. מאז NETSCOUT התחילו לאסוף ולנתח נתונים בצורה הנוכחית בספטמבר 2012, הם צפו ב-96 מיליון התקפות, מה שמאפשר להם לבצע ניתוח ניכר של מגמות על פני אזורים ואנכיים, כמו גם להבין את הוקטורים שבהם נעשה שימוש ואת גדלי ההתקפות.
Omnis Threat Horizon הוא פתרון להצגת מידע זה לקהל רחב יותר - בעצם כל מי שמתעניין בנוף האיומים, ובמיוחד במגמות התקפת DDoS בכל זמן נתון. בנוסף לאספקת מפות בזמן אמת, הפתרון מאפשר למשתמש לחזור אחורה בזמן כדי להתבונן בצורה ויזואלית או בתמצית במה שאולי היה קורה בזמן נתון.
הם רצו לוודא שהאלמנטים הוויזואליים והאפליקציה מגיבים באופן גלובלי, הן מבחינת ייצוג נתונים בזמן אמת והן מבחינת הצגת מידע היסטורי. יתר על כן, הם רצו לשמור על העלות המצטברת למשתמש נמוכה ככל האפשר, על מנת להיות מסוגלים לספק שירות זה בחינם ברחבי העולם.
סקירת פתרונות
התרשים הבא ממחיש את ארכיטקטורת הפתרונות.
אחת המטרות מאחורי הפתרון שנבחר הייתה להשתמש בשירותי AWS מקוריים בכל מקרה אפשרי. יתר על כן, הם בחרו לחלק את הפונקציונליות של הרכיבים למיקרו-שירותים משלהם, ולעשות שימוש עקבי בכך באמצעות הפתרון.
חיישני ניטור בודדים מספקים נתונים ל שירות אחסון פשוט של אמזון (Amazon S3) על בסיס שעתי. עם קבלת ערכים חדשים, שירות התראה פשוט של אמזון הודעות (Amazon SNS) נמסרות, וכתוצאה מכך עיבוד הנתונים. שירותי מיקרו עוקבים אחראים על:
- ניתוח
- הפעלת אלגוריתמים לזיהוי והפרדת ערכים מזויפים
- מניעת כפילות
- מניה
- ביטחון
לאחר עיבוד זה, כל התקפה מיוצגת כמסמך נפרד בתחום OpenSearch Service. נכון לכתיבת הפוסט הזה, ל-NETSCOUT יש כ-96 מיליון התקפות באשכול, את כולן ניתן לייצג בצורה כלשהי במפות ובדיווחים באומניס Threat Horizon.
הנתונים מאורגנים בקובצי bin לפי שעה, ומוגשים לאפליקציה באמצעות אמזון CloudFront.
לקחים שנלמדו הקשורים ל- Elasticsearch
בפרויקטים קודמים, NETSCOUT ניסתה את Apache Cassandra, מסד נתונים פופולרי בקוד פתוח של NoSQL, וראתה אותו לא מתאים לשאילתות צבירה. תוך כדי פיתוח Horizon, הם בחרו ב- Elasticsearch כדי לקבל גישה ליכולות שאילתות צבירה חזקות יותר עם זמן מפתח פחות משמעותית.
הם התחילו עם מופע בניהול עצמי, אך התמודדו עם הבעיות הבאות:
- הוצאה ניכרת של שעות אדם פשוט לניהול התשתית
- כל שדרוג גרסה היה תהליך מעורב, שדרש הרבה תכנון ועדיין הציב אתגרים טכניים לאורך הדרך
- שום קנה מידה אוטומטי ושאילתות צבירה גדולות לא יוכלו לשבור את Elasticsearch
לאחר כמה מחזורים של הפעלת זה, הם עברו לשירות OpenSearch כדי להתגבר על האתגרים הללו.
תוֹצָאָה
NETSCOUT ראתה את היתרונות הבאים מארכיטקטורה זו:
- עיבוד מהיר של נתוני תקיפה – הזמן מרגע קבלת נתוני התקיפה ועד שהם זמינים במאגר הנתונים הוא בסדר גודל של שניות, מה שמאפשר להם לספק נראות כמעט בזמן אמת בפתרון.
- תקורה ניהולית נמוכה יותר – מאגר הנתונים גדל בעקביות, ועל ידי שימוש בשירות מנוהל, צוותים נמנעים מביצוע משימות הקשורות לניהול אשכולות. זו הייתה נקודת כאב גדולה עם פתרונות קודמים שאומצו הכוללים את אותה טכנולוגיה.
- אדריכלות ניתנת להרחבה – אפשר להוסיף יכולות חדשות לצינור עם צפיות הדרישות, מבלי לעצב מחדש רכיבים אחרים.
סיכום
עם OpenSearch Service, NETSCOUT הצליחה לבנות מאגר נתונים עמיד עבור נתוני ההתקפה שהם לוכדים. כתוצאה מהבחירות הארכיטקטוניות שנעשו ושירותי ה-AWS הבסיסיים, הם מסוגלים לספק נראות לנתונים שלהם בעלויות מצטברות קטנות, מה שמאפשר להם לספק פלטפורמת נראות גלובלית ללא עלות למשתמש הקצה.
עם הניסיון הרב ביותר, הענן האמין, הניתן להרחבה והמאובטח ביותר, והסט המקיף ביותר של שירותים ופתרונות, AWS הוא המקום הטוב ביותר לשחרר ערך מהנתונים שלך ולהפוך אותם לתובנה.
על הכותבים
הארדיק מודי הוא AVP, Threat and Migitation Products ב-NETSCOUT. בתפקיד זה, הוא מפקח על הצוותים האחראים למוצרי הפחתה וכן על יצירת תוכן אבטחה עבור מוצרי NETSCOUTs, המאפשר הגנה מהשורה הראשונה למשתמשים, כמו גם אספקה ופרסום מתמשכים של מחקרים משפיעים על פני ה-DDoS ו-Intrusion נופים.
סוג'אטה קופורג'ו הוא אדריכל פתרונות ראשי בשירותי האינטרנט של אמזון (AWS). היא מתקשרת עם לקוחות כדי ליצור פתרונות חדשניים המטפלים בבעיות עסקיות של לקוחות ומאיצים את האימוץ של שירותי AWS.
מייק ארודה הוא מנהל חשבונות טכניים בכיר ב-AWS, הממוקם באזור ניו אינגלנד. הוא עובד עם לקוחות AWS Enterprise, תומך בהצלחתם באימוץ שיטות עבודה מומלצות ועוזר להם להשיג את התוצאות העסקיות הרצויות שלהם עם AWS.
- הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
- Platoblockchain. Web3 Metaverse Intelligence. ידע מוגבר. גישה כאן.
- מקור: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 מיליון
- 10
- 100
- 2012
- 2019
- a
- יכול
- אודות
- להאיץ
- גישה
- חֶשְׁבּוֹן
- חשבונות
- להשיג
- לרוחב
- פעילות
- תוספת
- כתובת
- מאומץ
- אימוץ
- אימוץ
- - צבירה
- אלגוריתמים
- תעשיות
- מאפשר
- מאפשר
- אמזון בעברית
- אמזון שירותי אינטרנט
- אמזון שירותי אינטרנט (AWS)
- אנליזה
- ניתוח
- ניתוח
- ו
- שנתי
- כל אחד
- אַפָּשׁ
- בקשה
- בערך
- אדריכלי
- ארכיטקטורה
- AREA
- אטלס
- לתקוף
- המתקפות
- אוגוסט
- אימות
- המכונית
- זמין
- מודעות
- AWS
- בחזרה
- מבוסס
- בסיס
- מאחור
- להיות
- הטבות
- הטוב ביותר
- שיטות עבודה מומלצות
- גָדוֹל
- בלוג
- בלוג הודעות
- לשבור
- רחב
- לִבנוֹת
- נבנה
- עסקים
- נקרא
- יכולות
- ללכוד
- האתגרים
- בחירות
- בחר
- נבחר
- ענן
- אשכול
- איסוף
- אוסף
- רְכִיב
- רכיבים
- מַקִיף
- רב
- נחשב
- עִקבִי
- תוכן
- רציף
- ליבה
- עלות
- עלויות
- יכול
- לִיצוֹר
- יצירה
- נוֹכְחִי
- מנהג
- לקוח
- לקוחות
- אישית
- אבטחת סייבר
- מחזורי
- נתונים
- מסד נתונים
- DDoS
- DDoS התקפה
- למסור
- נתן
- מסירה
- מניעת שירות
- עיצוב
- תבניות עיצוב
- פרטים
- מפתח
- מתפתח
- צעצועי התפתחות
- לְהַצִיג
- מופץ
- מסמך
- תחום
- כל אחד
- Elasticsearch
- אלמנטים
- לאפשר
- מה שמאפשר
- מנוע
- אַנְגלִיָה
- מִפְעָל
- לקוחות ארגוניים
- חברות
- Ether (ETH)
- ניסיון
- מתמודד
- מעטים
- קבצים
- הבא
- טופס
- חופשי
- החל מ-
- פונקציונלי
- יתר על כן
- בדרך כלל
- לקבל
- נתן
- גלוֹבָּלִי
- ברחבי עולם
- Go
- גדל
- יש
- עזרה
- מאוד
- היסטורי
- אופק
- שעות
- איך
- HTTPS
- לזהות
- בר - השפעה
- משפר
- in
- תעשייה
- מידע
- חדשני
- תובנה
- למשל
- מעוניין
- אינטרנט
- מעורב
- בעיות
- IT
- שמור
- מפתח
- נוף
- עוֹפֶרֶת
- למד
- קו
- מגרש
- נמוך
- עשוי
- לעשות
- לנהל
- הצליח
- ניהול
- מנהל
- מַפָּה
- מפות
- מיקרו
- יכול
- מִילִיוֹן
- הֲקָלָה
- ניטור
- יותר
- רוב
- יליד
- טבע
- רשת
- חדש
- הודעה
- הודעות
- מספר
- יעדים
- להתבונן
- קוד פתוח
- מופעל
- להזמין
- מאורגן
- אחר
- להתגבר על
- שֶׁלוֹ
- כְּאֵב
- ניירות
- מסוים
- נתיב
- דפוסי
- לבצע
- אדם
- צינור
- מקום
- תכנון
- פלטפורמה
- אפלטון
- מודיעין אפלטון
- אפלטון נתונים
- נקודה
- פופולרי
- אפשרי
- הודעה
- הודעות
- כּוֹחַ
- חזק
- כוח
- פרקטיקות
- קודם
- מנהל
- בעיות
- תהליך
- תהליך
- המוצר
- מוצרים
- פרופילים
- תָכְנִית
- פרויקטים
- .
- לספק
- ספק
- ספקים
- מתן
- פרסום
- זמן אמת
- נתונים בזמן אמת
- קיבלו
- רשום
- אזורים
- קָשׁוּר
- אָמִין
- לדווח
- דווח
- דוחות לדוגמא
- מיוצג
- המייצג
- דרישות
- מחקר
- מִתאוֹשֵׁשׁ מַהֵר
- אחראי
- תגובה
- תוצאה
- וכתוצאה מכך
- תפקיד
- בערך
- אותו
- להרחבה
- דרוג
- שניות
- לבטח
- אבטחה
- לחצני מצוקה לפנסיונרים
- חיישנים
- סֶפּטֶמבֶּר
- סדרה
- שרות
- ספקי שירות
- שירותים
- סט
- שיתוף
- באופן משמעותי
- פָּשׁוּט
- בפשטות
- since
- גדל
- קטן
- פִּתָרוֹן
- פתרונות
- כמה
- במיוחד
- החל
- עוד
- אחסון
- חנות
- הצלחה
- סיכום
- ספקים
- מסייע
- מותאם
- משימות
- נבחרת
- צוותי
- טכני
- טכנולוגיות
- טכנולוגיה
- מונחים
- אל האני
- שֶׁלָהֶם
- איום
- דוח איומים
- דרך
- זמן
- ל
- מגמות
- תור
- בְּסִיסִי
- להבין
- לפתוח
- שדרוג
- להשתמש
- משתמש
- משתמשים
- לנצל
- ערך
- גרסה
- אנכיות
- באמצעות
- ראות
- מבקרים
- ראיה
- רציתי
- אחסון
- אינטרנט
- שירותי אינטרנט
- מה
- מה
- אשר
- בזמן
- מי
- משאלות
- לְלֹא
- עובד
- כתיבה
- זפירנט