Ten post został napisany wspólnie z Hardikiem Modi, AVP, Threat and Migitation Products w NETSCOUT.
NETSCOUT Horyzont Zagrożeń Omnis to globalna platforma świadomości cyberbezpieczeństwa, zapewniająca użytkownikom wysoce kontekstowy wgląd w działania zagrożeń „ponad horyzontem” w globalnym krajobrazie DDoS (rozproszona odmowa usługi) — zagrożeń, które mogą mieć wpływ na ich branżę, ich klientów lub dostawców. Umożliwia odwiedzającym tworzenie niestandardowych profili i zrozumienie aktywności DDoS obserwowanej w czasie zbliżonym do rzeczywistego za pośrednictwem platformy widoczności ATLAS firmy NETSCOUT. Użytkownicy mogą tworzyć bezpłatne konta w celu tworzenia niestandardowych profili, które prowadzą do wizualizacji opartej na mapie (jak na poniższym zrzucie ekranu), a także dostosowanych raportów podsumowujących. Ataki DDoS mogą mieć wpływ na usługi świadczone przez Internet. Widoczność tego rodzaju jest kluczowa dla każdego, kto chce zrozumieć, co dzieje się w krajobrazie zagrożeń. Omnis Threat Horizon jest ogólnie dostępny od sierpnia 2019 roku.
Aby zapewnić ciągłą widoczność przy niskim koszcie na użytkownika (w celu umożliwienia bezpłatnej usługi), zespół programistów NETSCOUT wybrał szereg technologii AWS do zasilania gromadzenia, przechowywania, analizy, magazynowania, uwierzytelniania użytkowników i dostarczania aplikacji. W szczególności wybrali Usługa Amazon OpenSearch jako główny silnik analityczny. Przechowują wszystkie przetworzone rekordy ataków w usłudze OpenSearch.
W tym poście omówiono wyzwania i wzorce projektowe stosowane przez NETSCOUT na drodze do przedstawienia szczegółów około 10 milionów rocznych ataków DDoS w czasie zbliżonym do rzeczywistego.
Tło
NETSCOUT, poprzez swoją linię produktów Arbor, jest wieloletnim dostawcą rozwiązań zapewniających widoczność sieci i ograniczanie ataków DDoS dla usługodawców i przedsiębiorstw. Od 2007 r. firma NETSCOUT obsługuje program o nazwie ATLAS, w ramach którego klienci mogą udostępniać anonimowe dane dotyczące ataków DDoS, które obserwują w swojej sieci. Wraz z dojrzewaniem tego programu, NETSCOUT ma pełny wgląd w krajobraz ataków DDoS — zarówno liczbę, jak i charakter ataków. Ta widoczność informuje i ulepsza ich produkty, umożliwiając im dzielenie się wynikami analiz w formie artykułów, postów na blogach i półrocznego raportu o zagrożeniach. Odkąd firma NETSCOUT zaczęła gromadzić i analizować dane w obecnej formie we wrześniu 2012 r., zaobserwowała 96 milionów ataków, co pozwoliło im przeprowadzić gruntowną analizę trendów w różnych regionach i branżach, a także zrozumieć użyte wektory i rozmiary ataków.
Omnis Threat Horizon to rozwiązanie umożliwiające wyświetlanie tych informacji szerszemu gronu odbiorców — zasadniczo wszystkim zainteresowanym krajobrazem zagrożeń, a w szczególności trendami ataków DDoS w dowolnym momencie. Oprócz dostarczania map w czasie rzeczywistym, rozwiązanie umożliwia użytkownikowi cofnięcie się w czasie i obserwację wizualną lub w formie podsumowania tego, co mogło się dziać w danym momencie.
Chcieli mieć pewność, że elementy wizualne i aplikacja będą responsywne na całym świecie, zarówno pod względem przedstawiania danych w czasie rzeczywistym, jak i wyświetlania informacji historycznych. Ponadto chcieli utrzymać jak najniższy koszt przyrostowy na użytkownika, aby móc bezpłatnie świadczyć tę usługę na całym świecie.
Omówienie rozwiązania
Poniższy schemat ilustruje architekturę rozwiązania.
Jednym z celów wybranego rozwiązania było wykorzystanie natywnych usług AWS w każdym możliwym przypadku. Co więcej, postanowili podzielić funkcjonalność komponentów na własne mikrousługi i konsekwentnie wykorzystywać to w rozwiązaniu.
Poszczególne czujniki monitorujące dostarczają dane do Usługa Amazon Simple Storage (Amazon S3) co godzinę. W miarę napływu nowych wpisów Usługa prostego powiadomienia Amazon (Amazon SNS) dostarczane są powiadomienia, które skutkują przetwarzaniem danych. Kolejne mikroserwisy odpowiadają za:
- Rozbiór gramatyczny zdania
- Uruchamianie algorytmów w celu identyfikacji i oddzielenia fałszywych wpisów
- Deduplikacja
- Punktacja
- Pewność siebie
Po tym przetworzeniu każdy atak jest reprezentowany jako osobny dokument w domenie usługi OpenSearch. W chwili pisania tego posta NETSCOUT ma około 96 milionów ataków w klastrze, z których wszystkie można przedstawić w jakiejś formie na mapach i raportach w Omnis Threat Horizon.
Dane są zorganizowane w godzinowe pliki bin i podawane do aplikacji za pośrednictwem Amazon CloudFront.
Wyciągnięte wnioski związane z Elasticsearch
W poprzednich projektach firma NETSCOUT wypróbowała Apache Cassandra, popularną bazę danych typu open source NoSQL, i uznała, że nie nadaje się ona do zapytań agregujących. Opracowując Horizon, wybrali Elasticsearch, aby uzyskać dostęp do potężniejszych możliwości zapytań agregujących przy znacznie krótszym czasie programisty.
Zaczęli od samodzielnie zarządzanej instancji, ale napotkali następujące problemy:
- Znaczne nakłady osobogodzin po prostu na zarządzanie infrastrukturą
- Każda aktualizacja wersji była zaangażowanym procesem, wymagającym wielu planowania i wciąż stwarzającym po drodze wyzwania techniczne
- Żadne automatyczne skalowanie i duże zapytania agregujące nie mogą zepsuć Elasticsearch
Po kilku cyklach przechodzenia przez to, przenieśli się do usługi OpenSearch, aby stawić czoła tym wyzwaniom.
Wynik
NETSCOUT dostrzegł następujące korzyści z tej architektury:
- Szybkie przetwarzanie danych ataku – Czas od otrzymania danych o ataku do momentu, gdy są one dostępne w magazynie danych, jest rzędu sekund, co pozwala im zapewnić widoczność w rozwiązaniu w czasie zbliżonym do rzeczywistego.
- Niższe koszty zarządzania – Magazyn danych stale się rozrasta, a dzięki usłudze zarządzanej zespoły unikają wykonywania zadań związanych z zarządzaniem klastrami. Był to duży problem z wcześniej przyjętymi rozwiązaniami wykorzystującymi tę samą technologię.
- Skalowalna architektura – Możliwe jest dodawanie nowych możliwości do potoku w miarę pojawiania się wymagań, bez zmiany architektury innych komponentów.
Wnioski
Dzięki usłudze OpenSearch firma NETSCOUT była w stanie zbudować odporny magazyn danych dla przechwytywanych danych dotyczących ataków. W wyniku dokonanych wyborów architektonicznych i bazowych usług AWS są w stanie zapewnić wgląd w swoje dane przy niewielkich kosztach przyrostowych, co pozwala im zapewnić globalną platformę widoczności bez żadnych kosztów dla użytkownika końcowego.
Dzięki największemu doświadczeniu, najbardziej niezawodnej, skalowalnej i bezpiecznej chmurze oraz najbardziej wszechstronnemu zestawowi usług i rozwiązań, AWS jest najlepszym miejscem do uwolnienia wartości z danych i przekształcenia ich we wgląd.
O autorach
Hardika Modiego jest AVP, Threat and Migitation Products w NETSCOUT. W tej roli nadzoruje zespoły odpowiedzialne za produkty łagodzące, a także tworzenie treści bezpieczeństwa dla produktów NETSCOUT, zapewniając najlepszą w swojej klasie ochronę dla użytkowników, a także ciągłe dostarczanie i publikowanie wpływowych badań dotyczących ataków DDoS i włamań krajobrazy.
Sujatha Kuppuraju jest głównym architektem rozwiązań w Amazon Web Services (AWS). Współpracuje z klientami w celu tworzenia innowacyjnych rozwiązań, które rozwiązują problemy biznesowe klientów i przyspieszają wdrażanie usług AWS.
Mike'a Arrudy jest Senior Technical Account Managerem w AWS z siedzibą w Nowej Anglii. Pracuje z klientami AWS Enterprise, wspierając ich sukces we wdrażaniu najlepszych praktyk i pomagając im osiągnąć pożądane wyniki biznesowe z AWS.
- Dystrybucja treści i PR oparta na SEO. Uzyskaj wzmocnienie już dziś.
- Platoblockchain. Web3 Inteligencja Metaverse. Wzmocniona wiedza. Dostęp tutaj.
- Źródło: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 mln
- 10
- 100
- 2012
- 2019
- a
- Zdolny
- O nas
- przyśpieszyć
- dostęp
- Konto
- Konta
- Osiągać
- w poprzek
- działalność
- dodatek
- adres
- przyjęty
- Przyjęcie
- Przyjęcie
- zbiór
- Algorytmy
- Wszystkie kategorie
- Pozwalać
- pozwala
- Amazonka
- Amazon Web Services
- Amazon Web Services (AWS)
- analiza
- analityka
- Analizując
- i
- roczny
- ktoś
- Apache
- Zastosowanie
- w przybliżeniu
- architektoniczny
- architektura
- POWIERZCHNIA
- atlas
- atakować
- Ataki
- Sierpnia
- Uwierzytelnianie
- samochód
- dostępny
- świadomość
- AWS
- z powrotem
- na podstawie
- podstawa
- za
- jest
- Korzyści
- BEST
- Najlepsze praktyki
- Duży
- Blog
- Najnowsze wpisy
- przerwa
- szerszy
- budować
- wybudowany
- biznes
- nazywa
- możliwości
- zdobyć
- wyzwania
- wybory
- wybrał
- wybrany
- Chmura
- Grupa
- Zbieranie
- kolekcja
- składnik
- składniki
- wszechstronny
- znaczny
- za
- zgodny
- zawartość
- ciągły
- rdzeń
- Koszty:
- Koszty:
- mógłby
- Stwórz
- tworzenie
- Aktualny
- zwyczaj
- klient
- Klientów
- dostosowane
- Bezpieczeństwo cybernetyczne
- Cykle
- dane
- Baza danych
- DDoS
- atak DDoS
- dostarczyć
- dostarczona
- dostawa
- Denial of Service
- Wnętrze
- wzorce projektowe
- detale
- Deweloper
- rozwijanie
- oprogramowania
- Wyświetlacz
- dystrybuowane
- dokument
- domena
- każdy
- Elasticsearch
- Elementy
- umożliwiać
- umożliwiając
- silnik
- Anglia
- Enterprise
- klienci korporacyjni
- przedsiębiorstwa
- Eter (ETH)
- doświadczenie
- w obliczu
- kilka
- Akta
- następujący
- Nasz formularz
- Darmowy
- od
- Funkcjonalność
- Ponadto
- ogólnie
- otrzymać
- dany
- Globalne
- Globalnie
- Go
- Rośnie
- mający
- pomoc
- wysoko
- historyczny
- horyzont
- GODZINY
- W jaki sposób
- HTTPS
- zidentyfikować
- wpływowy
- poprawia
- in
- przemysł
- Informacja
- Innowacyjny
- wgląd
- przykład
- zainteresowany
- Internet
- zaangażowany
- problemy
- IT
- Trzymać
- Klawisz
- krajobraz
- prowadzić
- dowiedziałem
- Linia
- Partia
- niski
- zrobiony
- robić
- zarządzanie
- zarządzane
- i konserwacjami
- kierownik
- mapa
- Mapy
- mikroserwisy
- może
- milion
- łagodzenie
- monitorowanie
- jeszcze
- większość
- rodzimy
- Natura
- sieć
- Nowości
- powiadomienie
- Powiadomienia
- numer
- Cele
- obserwować
- open source
- eksploatowane
- zamówienie
- Zorganizowany
- Inne
- Przezwyciężać
- własny
- Ból
- Papiery
- szczególny
- ścieżka
- wzory
- wykonać
- osoba
- rurociąg
- Miejsce
- planowanie
- Platforma
- plato
- Analiza danych Platona
- PlatoDane
- punkt
- Popularny
- możliwy
- Post
- Wiadomości
- power
- mocny
- Zasilanie
- praktyki
- poprzedni
- Główny
- problemy
- wygląda tak
- przetwarzanie
- Produkt
- Produkty
- profile
- Program
- projektowanie
- ochrona
- zapewniać
- dostawca
- dostawców
- że
- Publikacja
- w czasie rzeczywistym
- dane w czasie rzeczywistym
- Odebrane
- dokumentacja
- regiony
- związane z
- rzetelny
- raport
- Raportowanie
- Raporty
- reprezentowane
- reprezentowanie
- wymagania
- Badania naukowe
- sprężysty
- odpowiedzialny
- czuły
- dalsze
- wynikły
- Rola
- w przybliżeniu
- taki sam
- skalowalny
- skalowaniem
- sekund
- bezpieczne
- bezpieczeństwo
- senior
- czujniki
- wrzesień
- Serie
- usługa
- usługodawcy
- Usługi
- zestaw
- Share
- znacznie
- Prosty
- po prostu
- ponieważ
- rozmiary
- mały
- rozwiązanie
- Rozwiązania
- kilka
- swoiście
- rozpoczęty
- Nadal
- przechowywanie
- sklep
- sukces
- PODSUMOWANIE
- dostawcy
- Wspierający
- dostosowane
- zadania
- zespół
- Zespoły
- Techniczny
- Technologies
- Technologia
- REGULAMIN
- Połączenia
- ich
- groźba
- Raport o zagrożeniach
- Przez
- czas
- do
- Trendy
- SKRĘCAĆ
- zasadniczy
- zrozumieć
- odblokować
- uaktualnienie
- posługiwać się
- Użytkownik
- Użytkownicy
- wykorzystać
- wartość
- wersja
- pionowe
- przez
- widoczność
- odwiedzający
- wyobrażanie sobie
- poszukiwany
- Magazynowanie
- sieć
- usługi internetowe
- Co
- Co to jest
- który
- Podczas
- KIM
- Życzenia
- bez
- działa
- pisanie
- Twój
- zefirnet