Dieser Beitrag wurde gemeinsam mit Hardik Modi, AVP, Threat and Migitation Products bei NETSCOUT verfasst.
NETSCOUT Omnis Bedrohungshorizont ist eine globale Plattform zur Sensibilisierung für Cybersicherheit, die Benutzern einen hochkontextualisierten Einblick in Bedrohungsaktivitäten „über den Horizont“ in der globalen DDoS-Landschaft (Distributed Denial of Service) bietet – Bedrohungen, die sich auf ihre Branche, ihre Kunden oder ihre Lieferanten auswirken könnten. Es ermöglicht Besuchern, benutzerdefinierte Profile zu erstellen und DDoS-Aktivitäten zu verstehen, die nahezu in Echtzeit über die ATLAS-Sichtbarkeitsplattform von NETSCOUT beobachtet werden. Benutzer können kostenlose Konten erstellen, um benutzerdefinierte Profile zu erstellen, die zu einer kartenbasierten Visualisierung (wie im folgenden Screenshot) sowie zu maßgeschneiderten zusammenfassenden Berichten führen. DDoS-Angriffe können Auswirkungen auf Dienste haben, die über das Internet bereitgestellt werden. Sichtbarkeit dieser Art ist der Schlüssel für jeden, der verstehen möchte, was in der Bedrohungslandschaft vor sich geht. Omnis Threat Horizon ist seit August 2019 allgemein verfügbar.
Um kontinuierliche Sichtbarkeit zu niedrigen Kosten pro Benutzer zu bieten (um einen kostenlosen Service zu ermöglichen), hat das NETSCOUT-Entwicklungsteam eine Reihe von AWS-Technologien ausgewählt, um die Erfassung, Speicherung, Analyse, Lagerhaltung, Benutzerauthentifizierung und Bereitstellung der Anwendung zu unterstützen. Insbesondere wählten sie Amazon OpenSearch-Dienst als zentrale Analyse-Engine. Sie speichern alle verarbeiteten Angriffsaufzeichnungen im OpenSearch-Dienst.
In diesem Beitrag werden die Herausforderungen und Entwurfsmuster erörtert, die NETSCOUT auf seinem Weg zur Darstellung der Details von etwa 10 Millionen DDoS-Angriffen pro Jahr nahezu in Echtzeit verwendet hat.
Hintergrund
NETSCOUT ist über seine Arbor-Produktlinie ein langjähriger Anbieter von Lösungen für Netzwerktransparenz und DDoS-Minderung für Dienstanbieter und Unternehmen. Seit 2007 betreibt NETSCOUT ein Programm namens ATLAS, in dem Kunden entscheiden können, anonymisierte Daten über die DDoS-Angriffe zu teilen, die sie in ihrem Netzwerk beobachten. Mit zunehmender Reife dieses Programms hat NETSCOUT einen umfassenden Einblick in die DDoS-Angriffslandschaft – sowohl die Anzahl als auch die Art der Angriffe. Diese Sichtbarkeit informiert und verbessert ihre Produkte und ermöglicht es ihnen, Analyseergebnisse in Form von Papieren, Blog-Beiträgen und einem halbjährlichen Bedrohungsbericht zu teilen. Seit NETSCOUT im September 2012 mit dem Sammeln und Analysieren von Daten in der aktuellen Form begonnen hat, hat es 96 Millionen Angriffe beobachtet, was es ihnen ermöglicht, umfassende Analysen von Trends über Regionen und Branchen hinweg durchzuführen sowie die verwendeten Vektoren und Ausmaße von Angriffen zu verstehen.
Omnis Threat Horizon ist eine Lösung, um diese Informationen einem breiteren Publikum anzuzeigen – im Wesentlichen jedem, der sich für die Bedrohungslandschaft und insbesondere für die DDoS-Angriffstrends zu einem bestimmten Zeitpunkt interessiert. Zusätzlich zur Bereitstellung von Echtzeitkarten ermöglicht die Lösung dem Benutzer, in der Zeit zurückzugehen, um visuell oder in zusammengefasster Form zu beobachten, was zu einem bestimmten Zeitpunkt passiert sein könnte.
Sie wollten sicherstellen, dass die visuellen Elemente und die Anwendung global reaktionsfähig sind, sowohl in Bezug auf die Darstellung von Echtzeitdaten als auch auf die Anzeige historischer Informationen. Außerdem wollte man die Mehrkosten pro Nutzer so gering wie möglich halten, um diesen Service weltweit kostenlos anbieten zu können.
Lösungsüberblick
Das folgende Diagramm zeigt die Lösungsarchitektur.
Eines der Ziele hinter der gewählten Lösung war es, native AWS-Services in jeder möglichen Instanz zu nutzen. Darüber hinaus entschieden sie sich dafür, die Funktionalität der Komponenten in ihre eigenen Microservices aufzuteilen und diese durch die Lösung konsequent zu nutzen.
Einzelne Überwachungssensoren liefern Daten an Amazon Simple Storage-Service (Amazon S3) auf Stundenbasis. Wenn neue Einträge eingehen, Amazon Simple Notification Service (Amazon SNS) Benachrichtigungen zugestellt werden, was zu einer Verarbeitung der Daten führt. Aufeinanderfolgende Microservices sind verantwortlich für:
- Parsing
- Ausführen von Algorithmen zum Identifizieren und Trennen von falschen Einträgen
- Deduplizierung
- Scoring
- Höchste Sicherheit
Nach dieser Verarbeitung wird jeder Angriff als separates Dokument in der OpenSearch-Dienstdomäne dargestellt. Zum Zeitpunkt der Erstellung dieses Beitrags hat NETSCOUT ungefähr 96 Millionen Angriffe im Cluster, die alle in irgendeiner Form in den Karten und Berichten in Omnis Threat Horizon dargestellt werden können.
Die Daten werden in stündlichen Bin-Dateien organisiert und der Anwendung über bereitgestellt Amazon CloudFront.
Lessons Learned im Zusammenhang mit Elasticsearch
Bei früheren Projekten hat NETSCOUT Apache Cassandra, eine beliebte NoSQL-Open-Source-Datenbank, ausprobiert und für unzureichend für Aggregationsabfragen gehalten. Bei der Entwicklung von Horizon entschied man sich für Elasticsearch, um Zugang zu leistungsfähigeren Aggregationsabfragefunktionen mit deutlich weniger Entwicklerzeit zu erhalten.
Sie begannen mit einer selbstverwalteten Instanz, sahen sich jedoch mit den folgenden Problemen konfrontiert:
- Erheblicher Aufwand an Personenstunden allein für das Management der Infrastruktur
- Jedes Versions-Upgrade war ein komplizierter Prozess, der viel Planung erforderte und dabei immer noch technische Herausforderungen mit sich brachte
- Keine automatische Skalierung und große Aggregationsabfragen könnten Elasticsearch beschädigen
Nach ein paar Durchläufen wechselten sie zu OpenSearch Service, um diese Herausforderungen zu meistern.
Ergebnis
NETSCOUT sah die folgenden Vorteile dieser Architektur:
- Schnelle Verarbeitung von Angriffsdaten – Die Zeit vom Empfang der Angriffsdaten bis zu ihrer Verfügbarkeit im Datenspeicher liegt in der Größenordnung von Sekunden, sodass die Lösung nahezu in Echtzeit sichtbar ist.
- Geringer Verwaltungsaufwand – Der Datenspeicher wächst stetig, und durch die Verwendung eines verwalteten Dienstes vermeiden Teams Aufgaben im Zusammenhang mit dem Cluster-Management. Dies war ein großer Schmerzpunkt bei früheren Lösungen, die mit derselben Technologie verwendet wurden.
- Skalierbare Architektur – Es ist möglich, der Pipeline neue Funktionen hinzuzufügen, wenn Anforderungen entstehen, ohne andere Komponenten neu zu entwerfen.
Zusammenfassung
Mit OpenSearch Service konnte NETSCOUT einen robusten Datenspeicher für die erfassten Angriffsdaten aufbauen. Als Ergebnis der getroffenen architektonischen Entscheidungen und der zugrunde liegenden AWS-Services sind sie in der Lage, ihre Daten zu geringen Mehrkosten transparent zu machen, wodurch sie dem Endbenutzer kostenlos eine globale Sichtbarkeitsplattform bereitstellen können.
Mit der größten Erfahrung, der zuverlässigsten, skalierbarsten und sichersten Cloud und den umfassendsten Services und Lösungen ist AWS der beste Ort, um den Wert Ihrer Daten zu erschließen und in Erkenntnisse umzuwandeln.
Über die Autoren
Hardik Modi ist AVP, Bedrohungs- und Migrationsprodukte bei NETSCOUT. In dieser Rolle beaufsichtigt er die für Abwehrprodukte verantwortlichen Teams sowie die Erstellung von Sicherheitsinhalten für NETSCOUT-Produkte, die den Benutzern erstklassigen Schutz ermöglichen, sowie die kontinuierliche Bereitstellung und Veröffentlichung wirkungsvoller Forschungsergebnisse zu DDoS und Intrusion Landschaften.
Sujatha Kuppuraju ist Principal Solutions Architect bei Amazon Web Services (AWS). Sie arbeitet mit Kunden zusammen, um innovative Lösungen zu entwickeln, die die geschäftlichen Probleme der Kunden angehen und die Einführung von AWS-Services beschleunigen.
Mike Arruda ist Senior Technical Account Manager bei AWS in der Region New England. Er arbeitet mit AWS Enterprise-Kunden zusammen, unterstützt ihren Erfolg bei der Übernahme von Best Practices und hilft ihnen, ihre gewünschten Geschäftsergebnisse mit AWS zu erzielen.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- Platoblockkette. Web3-Metaverse-Intelligenz. Wissen verstärkt. Hier zugreifen.
- Quelle: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- 10 Mio. US$
- 10
- 100
- 2012
- 2019
- a
- Fähig
- Über uns
- beschleunigen
- Zugang
- Konto
- Trading Konten
- Erreichen
- über
- Aktivität
- Zusatz
- Adresse
- angenommen
- Die Annahme
- Adoption
- Anhäufung
- Algorithmen
- Alle
- Zulassen
- erlaubt
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- Analyse
- Analytik
- Analyse
- und
- jährlich
- jemand
- Apache
- Anwendung
- ca.
- architektonisch
- Architektur
- Bereich
- Atlas
- Attacke
- Anschläge
- AUGUST
- Authentifizierung
- Auto
- verfügbar
- Bewusstsein
- AWS
- Zurück
- basierend
- Grundlage
- hinter
- Sein
- Vorteile
- BESTE
- Best Practices
- Big
- Blog
- Blog-Beiträge
- Break
- breiteres
- bauen
- erbaut
- Geschäft
- namens
- Fähigkeiten
- Erfassung
- Herausforderungen
- Entscheidungen
- wählten
- gewählt
- Cloud
- Cluster
- Das Sammeln
- Sammlung
- Komponente
- Komponenten
- umfassend
- erheblich
- betrachtet
- konsistent
- Inhalt
- kontinuierlich
- Kernbereich
- Kosten
- Kosten
- könnte
- erstellen
- Schaffung
- Strom
- Original
- Kunde
- Kunden
- maßgeschneiderte
- Internet-Sicherheit
- Zyklen
- technische Daten
- Datenbase
- DDoS
- DDoS-Angriff
- Übergeben
- geliefert
- Lieferanten
- Denial of Service
- Design
- Designmuster
- Details
- Entwickler:in / Unternehmen
- Entwicklung
- Entwicklung
- Display
- verteilt
- Dokument
- Domain
- jeder
- Elasticsearch
- Elemente
- ermöglichen
- ermöglichen
- Motor
- England
- Unternehmen
- Unternehmenskunden
- Unternehmen
- Äther (ETH)
- ERFAHRUNGEN
- konfrontiert
- wenige
- Mappen
- Folgende
- unten stehende Formular
- Frei
- für
- Funktionalität
- Außerdem
- allgemein
- bekommen
- gegeben
- Global
- Global
- Go
- Wächst
- mit
- Unternehmen
- hoch
- historisch
- Horizont
- STUNDEN
- Ultraschall
- HTTPS
- identifizieren
- schlagkräftig
- verbessert
- in
- Energiegewinnung
- Information
- innovativ
- Einblick
- Instanz
- interessiert
- Internet
- beteiligt
- Probleme
- IT
- Behalten
- Wesentliche
- Landschaft
- führen
- gelernt
- Line
- Los
- Sneaker
- gemacht
- um
- verwalten
- verwaltet
- Management
- Manager
- Karte
- Landkarten
- Microservices
- könnte
- Million
- Milderung
- Überwachung
- mehr
- vor allem warme
- nativen
- Natur
- Netzwerk
- Neu
- Benachrichtigung
- Benachrichtigungen
- Anzahl
- beobachten
- Open-Source-
- betrieben
- Auftrag
- Organisiert
- Andere
- Überwinden
- besitzen
- Schmerzen
- Papiere
- besondere
- Weg
- Muster
- ausführen
- person
- Pipeline
- Ort
- Planung
- Plattform
- Plato
- Datenintelligenz von Plato
- PlatoData
- Points
- Beliebt
- möglich
- Post
- BLOG-POSTS
- Werkzeuge
- größte treibende
- Powering
- Praktiken
- früher
- Principal
- Probleme
- Prozessdefinierung
- Verarbeitung
- Produkt
- Produkte
- Profil
- Programm
- Projekte
- Sicherheit
- die
- Versorger
- Anbieter
- Bereitstellung
- Publikationen
- Echtzeit
- Echtzeitdaten
- Received
- Aufzeichnungen
- Regionen
- bezogene
- zuverlässig
- berichten
- Reporting
- Meldungen
- vertreten
- Darstellen
- Voraussetzungen:
- Forschungsprojekte
- federnde
- für ihren Verlust verantwortlich.
- ansprechbar
- Folge
- was zu
- Rollen
- rund
- gleich
- skalierbaren
- Skalierung
- Sekunden
- Verbindung
- Sicherheitdienst
- Senior
- Sensoren
- September
- Modellreihe
- Dienstleister
- Leistungen
- kompensieren
- Teilen
- bedeutend
- Einfacher
- einfach
- da
- Größen
- klein
- Lösung
- Lösungen
- einige
- speziell
- begonnen
- Immer noch
- Lagerung
- speichern
- Erfolg
- ZUSAMMENFASSUNG
- Lieferanten
- Unterstützung
- zugeschnitten
- und Aufgaben
- Team
- Teams
- Technische
- Technologies
- Technologie
- AGB
- Das
- ihr
- Bedrohung
- Bedrohungsbericht
- Durch
- Zeit
- zu
- Trends
- WENDE
- zugrunde liegen,
- verstehen
- öffnen
- mehr Stunden
- -
- Mitglied
- Nutzer
- Nutzen
- Wert
- Version
- Vertikalen
- Sichtbarkeit
- Besucher
- Visualisierung
- wollte
- Lagerung
- Netz
- Web-Services
- Was
- Was ist
- welche
- während
- WHO
- Wünsche
- ohne
- Werk
- Schreiben
- Ihr
- Zephyrnet