Цю публікацію було написано спільно з Хардіком Моді, AVP, Threat and Migitation Products у NETSCOUT.
NETSCOUT Omnis Threat Horizon це глобальна платформа для підвищення обізнаності про кібербезпеку, яка надає користувачам чітку контекстуальну видимість діяльності загроз «за горизонтом» у глобальному ландшафті DDoS (розподілена відмова в обслуговуванні) — загроз, які можуть вплинути на їх галузь, клієнтів або постачальників. Це дозволяє відвідувачам створювати власні профілі та розуміти активність DDoS, яка спостерігається майже в реальному часі через платформу видимості ATLAS NETSCOUT. Користувачі можуть створювати безкоштовні облікові записи для створення налаштованих профілів, які ведуть до візуалізації на основі карти (як на наступному знімку екрана), а також до спеціального підсумкового звіту. DDoS-атаки можуть впливати на послуги, що надаються через Інтернет. Така видимість є ключовою для кожного, хто хоче зрозуміти, що відбувається на ландшафті загроз. Omnis Threat Horizon став загальнодоступним із серпня 2019 року.
Щоб забезпечити безперервну видимість за низькою ціною для кожного користувача (щоб увімкнути безкоштовну послугу), команда розробників NETSCOUT обрала серію технологій AWS для збору, зберігання, аналізу, складування, автентифікації користувачів і доставки програми. Зокрема, вибрали Служба Amazon OpenSearch як основний механізм аналітики. Вони зберігають усі оброблені записи атак у OpenSearch Service.
У цій публікації обговорюються проблеми та шаблони проектування, які NETSCOUT використовувала на своєму шляху до представлення деталей приблизно 10 мільйонів щорічних DDoS-атак майже в реальному часі.
фон
NETSCOUT через свою лінійку продуктів Arbor є давнім постачальником рішень для видимості мережі та пом’якшення DDoS для постачальників послуг і підприємств. З 2007 року NETSCOUT керує програмою під назвою ATLAS, у якій клієнти можуть ділитися анонімними даними про DDoS-атаки, які вони спостерігають у своїй мережі. У міру того, як ця програма розвивалася, NETSCOUT має всебічне бачення ландшафту атак DDoS — як кількості, так і характеру атак. Така видимість інформує та покращує їхні продукти, дозволяючи їм ділитися результатами аналізу у формі документів, публікацій у блогах і звіту про загрози, який публікується раз на два роки. З тих пір, як NETSCOUT почав збирати та аналізувати дані в поточній формі у вересні 2012 року, вони спостерігали 96 мільйонів атак, що дозволило їм виконати значний аналіз тенденцій у різних регіонах і вертикалях, а також зрозуміти використані вектори та розміри атак.
Omnis Threat Horizon — це рішення для відображення цієї інформації ширшій аудиторії — по суті всім, хто цікавиться ландшафтом загроз і, зокрема, тенденціями DDoS-атак у будь-який момент часу. На додаток до надання карт у реальному часі, рішення дозволяє користувачеві повернутися в минуле, щоб візуально або в стислій формі спостерігати, що могло статися в певний час.
Вони хотіли переконатися, що візуальні елементи та додаток реагують у всьому світі, як з точки зору представлення даних у реальному часі, так і показу історичної інформації. Крім того, вони хотіли зберегти додаткові витрати на користувача якомога нижчими, щоб мати можливість безкоштовно надавати цю послугу по всьому світу.
Огляд рішення
Наступна діаграма ілюструє архітектуру рішення.
Однією з цілей обраного рішення було використання власних служб AWS у всіх можливих випадках. Крім того, вони вирішили розділити функціональні можливості компонентів на власні мікросервіси та послідовно використовувати це через рішення.
Індивідуальні датчики моніторингу передають дані Служба простого зберігання Amazon (Amazon S3) на погодинній основі. Коли надходять нові записи, Служба простих сповіщень Amazon (Amazon SNS) доставляються сповіщення, що призводить до обробки даних. Послідовні мікросервіси відповідають за:
- Parsing
- Запуск алгоритмів для ідентифікації та відокремлення помилкових записів
- Дедуплікація
- Рахунок
- Довіра
Після цієї обробки кожна атака представляється як окремий документ у домені OpenSearch Service. На момент написання цієї публікації NETSCOUT має приблизно 96 мільйонів атак у кластері, і всі вони можуть бути представлені в тій чи іншій формі на картах і звітах у Omnis Threat Horizon.
Дані організовуються в погодинних bin-файлах і подаються до програми через Amazon CloudFront.
Отримані уроки, пов’язані з Elasticsearch
У попередніх проектах NETSCOUT випробував Apache Cassandra, популярну базу даних NoSQL з відкритим вихідним кодом, і вважав її непридатною для агрегаційних запитів. Під час розробки Horizon вони обрали Elasticsearch, щоб отримати доступ до потужніших можливостей агрегаційних запитів із значно меншим часом розробника.
Вони почали з самокерованого екземпляра, але зіткнулися з такими проблемами:
- Значні витрати людино-годин просто на управління інфраструктурою
- Кожне оновлення версії було трудомістким процесом, який вимагав багато планування та все ще створював технічні проблеми на цьому шляху
- Жодне автоматичне масштабування та великі агрегаційні запити не можуть зламати Elasticsearch
Після кількох циклів роботи з цим вони перейшли до OpenSearch Service, щоб подолати ці проблеми.
Результат
NETSCOUT побачив такі переваги цієї архітектури:
- Швидка обробка даних атаки – Час від моменту отримання даних атаки до моменту, коли вони доступні в сховищі даних, становить близько секунд, що дозволяє забезпечити видимість рішення майже в реальному часі.
- Зменшення накладних витрат на управління – Сховище даних постійно зростає, а за допомогою керованої служби командам уникають виконання завдань, пов’язаних із керуванням кластером. Це було серйозною проблемою з попередніми рішеннями, прийнятими за тією ж технологією.
- Масштабована архітектура – Можна додавати нові можливості в конвеєр, коли з’являються вимоги, без зміни архітектури інших компонентів.
Висновок
Завдяки OpenSearch Service NETSCOUT вдалося створити стійке сховище даних для даних атак, які вони збирають. Завдяки вибору архітектури та базовим службам AWS вони можуть забезпечити видимість своїх даних за невеликих додаткових витрат, що дозволяє їм надавати глобальну платформу видимості безкоштовно для кінцевого користувача.
Завдяки найбільшому досвіду, найнадійнішій, масштабованій і безпечній хмарі, а також найповнішому набору послуг і рішень, AWS є найкращим місцем, щоб розблокувати цінність ваших даних і перетворити їх на розуміння.
Про авторів
Хардік Моді є продуктами AVP, Threat and Migitation в NETSCOUT. На цій посаді він керує командами, відповідальними за продукти пом’якшення, а також за створення вмісту безпеки для продуктів NETSCOUT, що забезпечує найкращий у своєму класі захист для користувачів, а також за постійну доставку та публікацію результативних досліджень щодо DDoS та вторгнень. пейзажі.
Суджата Куппураджу є головним архітектором рішень в Amazon Web Services (AWS). Вона співпрацює з клієнтами для створення інноваційних рішень, які вирішують бізнес-проблеми клієнтів і прискорюють впровадження послуг AWS.
Майк Арруда є старшим технічним менеджером з роботи з клієнтами в AWS, розташованому в Новій Англії. Він працює з клієнтами AWS Enterprise, підтримуючи їхній успіх у впровадженні найкращих практик і допомагаючи їм досягти бажаних бізнес-результатів за допомогою AWS.
- Розповсюдження контенту та PR на основі SEO. Отримайте посилення сьогодні.
- Платоблокчейн. Web3 Metaverse Intelligence. Розширені знання. Доступ тут.
- джерело: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 мільйонів
- 10
- 100
- 2012
- 2019
- a
- Здатний
- МЕНЮ
- прискорювати
- доступ
- рахунки
- Рахунки
- Achieve
- через
- діяльність
- доповнення
- адреса
- прийнята
- Прийняття
- Прийняття
- агрегація
- алгоритми
- ВСІ
- Дозволити
- дозволяє
- Amazon
- Amazon Web Services
- Веб-служби Amazon (AWS)
- аналіз
- аналітика
- Аналізуючи
- та
- щорічний
- будь
- Apache
- додаток
- приблизно
- архітектурний
- архітектура
- ПЛОЩА
- Атлант
- атака
- нападки
- Серпня
- Authentication
- автоматичний
- доступний
- обізнаність
- AWS
- назад
- заснований
- основа
- за
- буття
- Переваги
- КРАЩЕ
- передового досвіду
- Великий
- Блог
- Повідомлення в блозі
- Перерва
- ширше
- будувати
- побудований
- бізнес
- званий
- можливості
- захоплення
- проблеми
- вибір
- вибрав
- вибраний
- хмара
- кластер
- Збір
- збір
- компонент
- Компоненти
- всеосяжний
- значний
- вважається
- послідовний
- зміст
- безперервний
- Core
- Коштувати
- витрати
- може
- створювати
- створення
- Поточний
- виготовлений на замовлення
- клієнт
- Клієнти
- налаштувати
- Кібербезпека
- циклів
- дані
- Database
- DDoS
- DDoS-атака
- доставляти
- поставляється
- доставка
- Відмова в обслуговуванні
- дизайн
- шаблони дизайну
- деталі
- Розробник
- розвивається
- розробка
- дисплей
- розподілений
- документ
- домен
- кожен
- Elasticsearch
- елементи
- включіть
- дозволяє
- двигун
- England
- підприємство
- корпоративні клієнти
- підприємств
- Ефір (ETH)
- досвід
- стикаються
- кілька
- Файли
- після
- форма
- Безкоштовна
- від
- функціональність
- Крім того
- в цілому
- отримати
- даний
- Глобальний
- Глобально
- Go
- Зростає
- має
- допомогу
- дуже
- історичний
- горизонт
- ГОДИННИК
- Як
- HTTPS
- ідентифікувати
- вражаючий
- поліпшується
- in
- промисловість
- інформація
- інноваційний
- розуміння
- екземпляр
- зацікавлений
- інтернет
- залучений
- питання
- IT
- тримати
- ключ
- ландшафт
- вести
- вчений
- Лінія
- серія
- низький
- made
- зробити
- управляти
- вдалося
- управління
- менеджер
- карта
- карти
- мікросервіс
- може бути
- мільйона
- пом'якшення
- моніторинг
- більше
- найбільш
- рідний
- природа
- мережу
- Нові
- сповіщення
- Повідомлення
- номер
- цілей
- спостерігати
- з відкритим вихідним кодом
- працювати
- порядок
- Організований
- Інше
- Подолати
- власний
- Біль
- документи
- приватність
- шлях
- моделі
- виконувати
- людина
- трубопровід
- місце
- планування
- платформа
- plato
- Інформація про дані Платона
- PlatoData
- точка
- популярний
- це можливо
- пошта
- Пости
- влада
- потужний
- Живлення
- практики
- попередній
- Головний
- проблеми
- процес
- обробка
- Product
- Продукти
- Профілі
- програма
- проектів
- захист
- забезпечувати
- Постачальник
- провайдери
- забезпечення
- Публікація
- реального часу
- дані в режимі реального часу
- отримано
- облік
- райони
- пов'язаний
- надійний
- звітом
- Звітність
- Звіти
- представлений
- представляє
- Вимога
- дослідження
- пружний
- відповідальний
- реагувати
- результат
- в результаті
- Роль
- грубо
- то ж
- масштабовані
- Масштабування
- seconds
- безпечний
- безпеку
- старший
- датчиків
- Вересень
- Серія
- обслуговування
- постачальники послуг
- Послуги
- комплект
- Поділитись
- істотно
- простий
- просто
- з
- розміри
- невеликий
- рішення
- Рішення
- деякі
- конкретно
- почалася
- Як і раніше
- зберігання
- зберігати
- успіх
- РЕЗЮМЕ
- постачальники
- Підтримуючий
- з урахуванням
- завдання
- команда
- команди
- технічний
- Технології
- Технологія
- terms
- Команда
- їх
- загроза
- Звіт про загрози
- через
- час
- до
- Тенденції
- ПЕРЕГЛЯД
- що лежить в основі
- розуміти
- відімкнути
- модернізація
- використання
- користувач
- користувачі
- використовувати
- значення
- версія
- вертикалі
- через
- видимість
- відвідувачів
- візуалізації
- хотів
- Складування
- Web
- веб-сервіси
- Що
- Що таке
- який
- в той час як
- ВООЗ
- побажання
- без
- працює
- лист
- вашу
- зефірнет