Этот пост был написан в соавторстве с Хардиком Моди, AVP, Threat and Migitation Products в NETSCOUT.
NETSCOUT Всеобъемлющий горизонт угроз — это глобальная платформа для информирования о кибербезопасности, предоставляющая пользователям высококонтекстную информацию об угрозах «за горизонтом» в глобальном ландшафте DDoS (распределенный отказ в обслуживании) — угрозах, которые могут повлиять на их отрасль, их клиентов или их поставщиков. Он позволяет посетителям создавать настраиваемые профили и анализировать действия DDoS, наблюдаемые почти в реальном времени с помощью платформы наблюдения NETSCOUT ATLAS. Пользователи могут создавать бесплатные учетные записи для создания настраиваемых профилей, которые приводят к визуализации на основе карты (как на следующем снимке экрана), а также к специализированным сводным отчетам. DDoS-атаки могут повлиять на услуги, предоставляемые через Интернет. Такая видимость является ключевой для всех, кто хочет понять, что происходит в ландшафте угроз. Omnis Threat Horizon общедоступен с августа 2019 года.
Чтобы обеспечить непрерывную видимость при низких затратах на пользователя (чтобы включить бесплатную услугу), команда разработчиков NETSCOUT выбрала ряд технологий AWS для сбора, хранения, анализа, складирования, аутентификации пользователей и доставки приложения. В частности, они выбрали Сервис Amazon OpenSearch в качестве основного механизма аналитики. Они хранят все обработанные записи об атаках в службе OpenSearch.
В этом посте обсуждаются проблемы и шаблоны проектирования, используемые NETSCOUT на пути к представлению деталей примерно 10 миллионов ежегодных DDoS-атак в режиме, близком к реальному времени.
проверка данных
NETSCOUT, благодаря своей линейке продуктов Arbor, является давним поставщиком решений для мониторинга сети и смягчения последствий DDoS для поставщиков услуг и предприятий. С 2007 года NETSCOUT запустила программу под названием ATLAS, в рамках которой клиенты могут делиться анонимными данными о DDoS-атаках, которые они наблюдают в своей сети. По мере того, как эта программа совершенствовалась, NETSCOUT имеет всестороннее представление о ландшафте DDoS-атак — как о количестве, так и о характере атак. Эта видимость информирует и улучшает их продукты, позволяя им делиться результатами анализа в виде документов, сообщений в блогах и двухгодичного отчета об угрозах. С тех пор как в сентябре 2012 года NETSCOUT начала собирать и анализировать данные в текущем виде, они зафиксировали 96 миллионов атак, что позволило им провести значительный анализ тенденций по регионам и вертикалям, а также понять используемые векторы и масштабы атак.
Omnis Threat Horizon — это решение для отображения этой информации для более широкой аудитории — по сути, для всех, кто интересуется ландшафтом угроз и, в частности, тенденциями DDoS-атак в любой момент времени. В дополнение к предоставлению карт в реальном времени решение позволяет пользователю вернуться в прошлое, чтобы визуально или в сводной форме наблюдать за тем, что могло происходить в данный момент времени.
Они хотели убедиться, что визуальные элементы и приложение реагируют глобально, как с точки зрения представления данных в реальном времени, так и с точки зрения отображения исторической информации. Кроме того, они хотели максимально снизить дополнительные затраты на пользователя, чтобы иметь возможность предоставлять эту услугу бесплатно по всему миру.
Обзор решения
Следующая диаграмма иллюстрирует архитектуру решения.
Одной из целей выбранного решения было использование нативных сервисов AWS во всех возможных случаях. Кроме того, они решили разбить функциональные возможности компонентов на свои собственные микросервисы и последовательно использовать их в решении.
Отдельные датчики мониторинга передают данные Простой сервис хранения Amazon (Amazon S3) на почасовой основе. По мере поступления новых записей Amazon Простая служба уведомлений (Amazon SNS) уведомления доставляются, что приводит к обработке данных. Последовательные микросервисы отвечают за:
- анализ
- Запуск алгоритмов для выявления и отделения ложных записей
- дедупликации
- Счет
- Доверие
После этой обработки каждая атака представляется отдельным документом в домене службы OpenSearch. На момент написания этого поста NETSCOUT насчитывает около 96 миллионов атак в кластере, и все они могут быть представлены в той или иной форме на картах и в отчетах Omnis Threat Horizon.
Данные организованы в почасовые bin-файлы и подаются в приложение через Amazon CloudFront.
Извлеченные уроки, связанные с Elasticsearch
В предыдущих проектах NETSCOUT пробовала Apache Cassandra, популярную базу данных NoSQL с открытым исходным кодом, и сочла ее неадекватной для запросов агрегации. При разработке Horizon они выбрали Elasticsearch, чтобы получить доступ к более мощным возможностям агрегирования запросов со значительно меньшими затратами времени на разработку.
Они начали с самоуправляемого экземпляра, но столкнулись со следующими проблемами:
- Значительные затраты человеко-часов просто на управление инфраструктурой
- Каждое обновление версии было сложным процессом, требующим тщательного планирования и по-прежнему вызывающим технические проблемы.
- Отсутствие автоматического масштабирования и большие запросы агрегации не могли сломать Elasticsearch.
После нескольких циклов прохождения через это они перешли на OpenSearch Service, чтобы решить эти проблемы.
Результат
NETSCOUT увидел следующие преимущества этой архитектуры:
- Быстрая обработка данных атаки – Время с момента получения данных об атаке до момента их появления в хранилище данных составляет порядка секунд, что позволяет обеспечить видимость в решении практически в реальном времени.
- Снижение накладных расходов на управление – Хранилище данных постоянно растет, а благодаря управляемому сервису командам не нужно выполнять задачи, связанные с управлением кластером. Это было большой проблемой с предыдущими решениями, использующими ту же технологию.
- Масштабируемая архитектура – По мере появления требований в конвейер можно добавлять новые возможности без изменения архитектуры других компонентов.
Заключение
С помощью службы OpenSearch компания NETSCOUT смогла создать надежное хранилище данных для собранных данных об атаках. В результате сделанного архитектурного выбора и базовых сервисов AWS они могут обеспечить видимость своих данных с небольшими дополнительными затратами, что позволяет им бесплатно предоставлять конечным пользователям платформу глобальной видимости.
Обладая самым большим опытом, самым надежным, масштабируемым и безопасным облаком, а также самым полным набором сервисов и решений, AWS — это лучшее место, где можно извлечь выгоду из ваших данных и превратить их в ценную информацию.
Об авторах
Хардик Моди является AVP, Threat and Migitation Products в NETSCOUT. В этой роли он курирует команды, отвечающие за продукты для смягчения последствий, а также за создание контента безопасности для продуктов NETSCOUT, обеспечивающего лучшую в своем классе защиту для пользователей, а также за непрерывную доставку и публикацию важных исследований в области DDoS и вторжений. пейзажи.
Суджата Куппураджу является главным архитектором решений в Amazon Web Services (AWS). Она взаимодействует с клиентами для создания инновационных решений, направленных на решение бизнес-проблем клиентов и ускорение внедрения сервисов AWS.
Майк Арруда является старшим техническим менеджером по работе с клиентами в AWS, базирующейся в районе Новой Англии. Он работает с корпоративными клиентами AWS, помогая им внедрять передовой опыт и добиваться желаемых бизнес-результатов с помощью AWS.
- SEO-контент и PR-распределение. Получите усиление сегодня.
- Платоблокчейн. Интеллект метавселенной Web3. Расширение знаний. Доступ здесь.
- Источник: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 миллионов
- 10
- 100
- 2012
- 2019
- a
- в состоянии
- О нас
- ускорять
- доступ
- Учетная запись
- Учетные записи
- Достигать
- через
- деятельность
- дополнение
- адрес
- принял
- Принятие
- Принятие
- агрегирование
- алгоритмы
- Все
- Позволяющий
- позволяет
- Amazon
- Amazon Web Services
- Веб-службы Amazon (AWS)
- анализ
- аналитика
- анализ
- и
- годовой
- кто угодно
- апаш
- Применение
- примерно
- архитектурный
- архитектура
- ПЛОЩАДЬ
- Атлант
- атаковать
- нападки
- Август
- Аутентификация
- автоматический
- доступен
- осведомленность
- AWS
- назад
- основанный
- основа
- за
- не являетесь
- Преимущества
- ЛУЧШЕЕ
- лучшие практики
- большой
- Блог
- Сообщения в блоге
- Ломать
- шире
- строить
- построенный
- бизнес
- под названием
- возможности
- захватить
- проблемы
- выбор
- выбрал
- выбранный
- облако
- Кластер
- Сбор
- лыжных шлемов
- компонент
- компоненты
- комплексный
- значительный
- считается
- последовательный
- содержание
- (CIJ)
- Основные
- Цена
- Расходы
- может
- Создайте
- создание
- Текущий
- изготовленный на заказ
- клиент
- Клиенты
- подгонянный
- Информационная безопасность
- циклы
- данным
- База данных
- DDoS
- DDoS-атака
- доставить
- поставляется
- поставка
- Отказ в обслуживании
- Проект
- шаблоны проектирования
- подробнее
- Застройщик
- развивающийся
- Развитие
- Дисплей
- распределенный
- документ
- домен
- каждый
- Elasticsearch
- элементы
- включить
- позволяет
- Двигатель
- Англия
- Предприятие
- корпоративные клиенты
- предприятий
- Эфир (ETH)
- опыт
- сталкиваются
- несколько
- Файлы
- после
- форма
- Бесплатно
- от
- функциональность
- Более того
- в общем
- получить
- данный
- Глобальный
- ГЛОБАЛЬНО
- Go
- Растет
- имеющий
- помощь
- очень
- исторический
- горизонт
- ЧАСЫ
- Как
- HTTPS
- определения
- эффектных
- улучшается
- in
- промышленность
- информация
- инновационный
- понимание
- пример
- заинтересованный
- Интернет
- вовлеченный
- вопросы
- IT
- Сохранить
- Основные
- пейзаж
- вести
- узнали
- линия
- серия
- Низкий
- сделанный
- сделать
- управлять
- управляемого
- управление
- менеджер
- карта
- Карты
- microservices
- может быть
- миллиона
- смягчение
- Мониторинг
- БОЛЕЕ
- самых
- родной
- природа
- сеть
- Новые
- уведомление
- Уведомления
- номер
- целей
- наблюдать
- с открытым исходным кодом
- работать
- заказ
- Организованный
- Другие контрактные услуги
- Преодолеть
- собственный
- боль
- бумага
- особый
- путь
- паттеранами
- выполнять
- человек
- трубопровод
- Часть
- планирование
- Платформа
- Платон
- Платон Интеллектуальные данные
- ПлатонДанные
- Точка
- Популярное
- возможное
- После
- Блог
- мощностью
- мощный
- Включение питания
- практиками
- предыдущий
- Основной
- проблемам
- процесс
- обработка
- Продукт
- Продукция
- Профили
- FitPartner™
- проектов
- защиту
- обеспечивать
- Недвижимости
- поставщики
- обеспечение
- Публикация
- реального времени
- данные в реальном времени
- получила
- учет
- районы
- Связанный
- складская
- отчету
- Reporting
- Отчеты
- представленный
- представляющий
- Требования
- исследованиям
- упругий
- ответственный
- отзывчивый
- результат
- в результате
- Роли
- грубо
- то же
- масштабируемые
- масштабирование
- секунды
- безопасный
- безопасность
- старший
- датчик
- сентябрь
- Серии
- обслуживание
- поставщики услуг
- Услуги
- набор
- Поделиться
- существенно
- просто
- просто
- с
- Размеры
- небольшой
- Решение
- Решения
- некоторые
- конкретно
- и политические лидеры
- По-прежнему
- диск
- магазин
- успех
- РЕЗЮМЕ
- поставщики
- поддержки
- с учетом
- задачи
- команда
- команды
- Технический
- технологии
- Технологии
- terms
- Ассоциация
- их
- угроза
- Отчет об угрозах
- Через
- время
- в
- Тенденции
- ОЧЕРЕДЬ
- лежащий в основе
- понимать
- отпереть
- модернизация
- использование
- Информация о пользователе
- пользователей
- использовать
- ценностное
- версия
- вертикалей
- с помощью
- видимость
- посетителей
- визуализация
- стремятся
- Складирование
- Web
- веб-сервисы
- Что
- Что такое
- который
- в то время как
- КТО
- пожелания
- без
- работает
- письмо
- ВАШЕ
- зефирнет