Dit bericht is geschreven in samenwerking met Hardik Modi, AVP, Threat and Migitation Products bij NETSCOUT.
NETSCOUT Omnis dreigingshorizon is een wereldwijd cyberbeveiligingsbewustzijnsplatform dat gebruikers een zeer gecontextualiseerd inzicht biedt in bedreigingsactiviteiten "achter de horizon" in het wereldwijde DDoS-landschap (Distributed Denial of Service), bedreigingen die van invloed kunnen zijn op hun branche, hun klanten of hun leveranciers. Hiermee kunnen bezoekers aangepaste profielen maken en DDoS-activiteit begrijpen die bijna in realtime wordt waargenomen via het ATLAS-zichtbaarheidsplatform van NETSCOUT. Gebruikers kunnen gratis accounts aanmaken om aangepaste profielen te maken die leiden tot een op kaarten gebaseerde visualisatie (zoals in de volgende schermafbeelding) en samenvattende rapportage op maat. DDoS-aanvallen kunnen impact hebben op services die via internet worden geleverd. Dit soort zichtbaarheid is essentieel voor iedereen die wil begrijpen wat er gebeurt in het dreigingslandschap. Omnis Threat Horizon is algemeen beschikbaar sinds augustus 2019.
Om continue zichtbaarheid te bieden tegen lage kosten per gebruiker (om een gratis service mogelijk te maken), koos het NETSCOUT-ontwikkelingsteam een reeks AWS-technologieën om de verzameling, opslag, analyse, opslag, gebruikersauthenticatie en levering van de applicatie mogelijk te maken. Ze kozen vooral Amazon OpenSearch-service als de belangrijkste analyse-engine. Ze slaan alle verwerkte aanvalsrecords op in OpenSearch Service.
Dit bericht bespreekt de uitdagingen en ontwerppatronen die NETSCOUT gebruikte op zijn pad om de details van ongeveer 10 miljoen jaarlijkse DDoS-aanvallen in bijna realtime weer te geven.
Achtergrond
NETSCOUT is via zijn Arbor-productlijn een langdurige leverancier van oplossingen voor netwerkzichtbaarheid en DDoS-mitigatie voor serviceproviders en ondernemingen. Sinds 2007 beheert NETSCOUT een programma genaamd ATLAS, waarin klanten ervoor kunnen kiezen om geanonimiseerde gegevens over de DDoS-aanvallen die ze waarnemen op hun netwerk te delen. Naarmate dit programma volwassener is geworden, heeft NETSCOUT uitgebreid inzicht in het DDoS-aanvalslandschap, zowel het aantal als de aard van de aanvallen. Deze zichtbaarheid informeert en verbetert hun producten, waardoor ze analysebevindingen kunnen delen in de vorm van papers, blogposts en een halfjaarlijks dreigingsrapport. Sinds NETSCOUT in september 2012 begon met het verzamelen en analyseren van gegevens in de huidige vorm, hebben ze 96 miljoen aanvallen waargenomen, waardoor ze aanzienlijke analyses konden uitvoeren van trends in verschillende regio's en branches, en inzicht kregen in de gebruikte vectoren en de grootte van aanvallen.
Omnis Threat Horizon is een oplossing om deze informatie aan een breder publiek te tonen, in wezen iedereen die geïnteresseerd is in het bedreigingslandschap, en in het bijzonder de DDoS-aanvalstrends op een bepaald moment. Naast het bieden van real-time kaarten, stelt de oplossing de gebruiker in staat om terug te gaan in de tijd om visueel of in samengevatte vorm te observeren wat er op een bepaald moment zou kunnen zijn gebeurd.
Ze wilden ervoor zorgen dat de visuele elementen en de applicatie wereldwijd responsief waren, zowel wat betreft het weergeven van real-time gegevens als het tonen van historische informatie. Bovendien wilden ze de incrementele kosten per gebruiker zo laag mogelijk houden om deze service wereldwijd gratis aan te kunnen bieden.
Overzicht oplossingen
Het volgende diagram illustreert de oplossingsarchitectuur.
Een van de doelstellingen achter de gekozen oplossing was om in alle mogelijke gevallen gebruik te maken van native AWS-services. Bovendien kozen ze ervoor om componentfunctionaliteit op te splitsen in hun eigen microservices en hier consequent gebruik van te maken via de oplossing.
Individuele bewakingssensoren leveren gegevens aan Amazon eenvoudige opslagservice (Amazon S3) op uurbasis. Als er nieuwe inzendingen binnenkomen, Amazon eenvoudige meldingsservice (Amazon SNS) notificaties worden afgeleverd, resulterend in verwerking van de gegevens. Opeenvolgende microservices zijn verantwoordelijk voor:
- Parsing
- Uitvoeren van algoritmen om valse ingangen te identificeren en te scheiden
- ontdubbeling
- Scoren
- (Zelf)vertrouwen
Na deze verwerking wordt elke aanval weergegeven als een afzonderlijk document in het OpenSearch Service-domein. Op het moment van schrijven van dit bericht heeft NETSCOUT ongeveer 96 miljoen aanvallen in het cluster, die allemaal in een of andere vorm kunnen worden weergegeven in de kaarten en rapporten in Omnis Threat Horizon.
De gegevens worden georganiseerd in bin-bestanden per uur en via Amazon CloudFront.
Geleerde lessen met betrekking tot Elasticsearch
Bij eerdere projecten probeerde NETSCOUT Apache Cassandra, een populaire NoSQL open-source database, en vond het onvoldoende voor aggregatiequery's. Tijdens het ontwikkelen van Horizon kozen ze voor Elasticsearch om toegang te krijgen tot krachtigere aggregatiequerymogelijkheden met aanzienlijk minder ontwikkeltijd.
Ze begonnen met een zelfbeheerde instantie, maar liepen tegen de volgende problemen aan:
- Aanzienlijke besteding van manuren alleen al om de infrastructuur te beheren
- Elke versie-upgrade was een ingewikkeld proces, dat veel planning vereiste en onderweg nog steeds technische uitdagingen met zich meebracht
- Geen automatische schaling en grote aggregatiequery's kunnen Elasticsearch breken
Na een paar cycli om dit door te voeren, stapten ze over op OpenSearch Service om deze uitdagingen te overwinnen.
Resultaat
NETSCOUT zag de volgende voordelen van deze architectuur:
- Snelle verwerking van aanvalsgegevens – De tijd vanaf het moment dat aanvalsgegevens worden ontvangen tot het moment waarop deze beschikbaar zijn in de gegevensopslag is in de orde van seconden, waardoor ze bijna realtime zichtbaarheid in de oplossing kunnen bieden.
- Lagere beheerkosten – De datastore groeit consistent en door een beheerde service te gebruiken, hoeven teams taken met betrekking tot clusterbeheer niet uit te voeren. Dit was een groot pijnpunt met eerdere oplossingen waarbij dezelfde technologie was gebruikt.
- Schaalbare architectuur – Het is mogelijk om nieuwe mogelijkheden aan de pijplijn toe te voegen wanneer er vereisten ontstaan, zonder andere componenten opnieuw te ontwerpen.
Conclusie
Met OpenSearch Service heeft NETSCOUT een veerkrachtige gegevensopslag kunnen bouwen voor de aanvalsgegevens die ze vastleggen. Als resultaat van gemaakte architectuurkeuzes en de onderliggende AWS-services, kunnen ze tegen kleine incrementele kosten inzicht in hun gegevens bieden, waardoor ze een wereldwijd zichtbaarheidsplatform kunnen bieden zonder kosten voor de eindgebruiker.
Met de meeste ervaring, de meest betrouwbare, schaalbare en veilige cloud en de meest uitgebreide set services en oplossingen, is AWS de beste plek om waarde uit uw data te halen en om te zetten in inzicht.
Over de auteurs
Hardik Modi is AVP, Threat and Migitation Products bij NETSCOUT. In deze rol houdt hij toezicht op de teams die verantwoordelijk zijn voor mitigatieproducten en het creëren van beveiligingsinhoud voor NETSCOUT-producten, waardoor de beste bescherming voor gebruikers mogelijk wordt, evenals de continue levering en publicatie van impactvol onderzoek op het gebied van DDoS en Intrusion. landschappen.
Sujatha Kuppuraju is een Principal Solutions Architect bij Amazon Web Services (AWS). Ze werkt samen met klanten om innovatieve oplossingen te creëren die zakelijke problemen van klanten aanpakken en de acceptatie van AWS-services versnellen.
Mike Arruda is Senior Technical Account Manager bij AWS, gevestigd in de regio New England. Hij werkt met AWS Enterprise-klanten, ondersteunt hun succes bij het toepassen van best practices en helpt hen de gewenste bedrijfsresultaten met AWS te bereiken.
- Door SEO aangedreven content en PR-distributie. Word vandaag nog versterkt.
- Platoblockchain. Web3 Metaverse Intelligentie. Kennis versterkt. Toegang hier.
- Bron: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 miljoen
- 10
- 100
- 2012
- 2019
- a
- in staat
- Over
- versnellen
- toegang
- Account
- accounts
- Bereiken
- over
- activiteit
- toevoeging
- adres
- aangenomen
- De goedkeuring van
- Adoptie
- aggregatie
- algoritmen
- Alles
- Het toestaan
- toestaat
- Amazone
- Amazon Web Services
- Amazon Web Services (AWS)
- analyse
- analytics
- het analyseren van
- en
- jaar-
- iedereen
- apache
- Aanvraag
- ongeveer
- bouwkundig
- architectuur
- GEBIED
- atlas
- aanvallen
- Aanvallen
- Augustus
- authenticatie
- auto
- Beschikbaar
- bewustzijn
- AWS
- terug
- gebaseerde
- basis
- achter
- wezen
- betekent
- BEST
- 'best practices'
- Groot
- Blog
- Blog Posts
- Breken
- bredere
- bouw
- bebouwd
- bedrijfsdeskundigen
- Dit betekent dat we onszelf en onze geliefden praktisch vergiftigen.
- mogelijkheden
- vangen
- uitdagingen
- keuzes
- koos
- uitgekozen
- Cloud
- TROS
- Het verzamelen van
- Collectie
- bestanddeel
- componenten
- uitgebreid
- aanzienlijk
- beschouwd
- consequent
- content
- doorlopend
- Kern
- Kosten
- Kosten
- kon
- en je merk te creëren
- het aanmaken
- Actueel
- gewoonte
- klant
- Klanten
- aangepaste
- Cybersecurity
- cycli
- gegevens
- Database
- DDoS
- DDoS-aanval
- leveren
- geleverd
- levering
- Denial of Service
- Design
- ontwerp patronen
- gegevens
- Ontwikkelaar
- het ontwikkelen van
- Ontwikkeling
- Display
- verdeeld
- document
- domein
- elk
- Elasticsearch
- geeft je de mogelijkheid
- in staat stellen
- waardoor
- Motor
- Engeland
- Enterprise
- zakelijke klanten
- bedrijven
- Ether (ETH)
- ervaring
- geconfronteerd
- weinig
- Bestanden
- volgend
- formulier
- Gratis
- oppompen van
- functionaliteit
- Bovendien
- algemeen
- krijgen
- gegeven
- Globaal
- Wereldwijd
- Go
- Groeit
- met
- het helpen van
- zeer
- historisch
- horizont
- HOURS
- Hoe
- HTTPS
- identificeren
- impactvolle
- verbetert
- in
- -industrie
- informatie
- innovatieve
- inzicht
- instantie
- geïnteresseerd
- Internet
- betrokken zijn
- problemen
- IT
- Houden
- sleutel
- Landschap
- leiden
- geleerd
- Lijn
- lot
- Laag
- gemaakt
- maken
- beheer
- beheerd
- management
- manager
- kaart
- Maps
- microservices
- macht
- miljoen
- verzachting
- Grensverkeer
- meer
- meest
- inheemse
- NATUUR
- netwerk
- New
- notificatie
- meldingen
- aantal
- doelstellingen
- waarnemen
- open source
- bediend
- bestellen
- Georganiseerd
- Overige
- Overwinnen
- het te bezitten.
- Pijn
- papieren
- bijzonder
- pad
- patronen
- uitvoeren
- persoon
- pijpleiding
- plaats
- planning
- platform
- Plato
- Plato gegevensintelligentie
- PlatoData
- punt
- Populair
- mogelijk
- Post
- Berichten
- energie
- krachtige
- Powering
- praktijken
- vorig
- Principal
- problemen
- verwerking
- Product
- Producten
- Profielen
- Programma
- projecten
- bescherming
- zorgen voor
- leverancier
- providers
- het verstrekken van
- Publicatie
- real-time
- realtime gegevens
- ontvangen
- archief
- regio
- verwant
- betrouwbaar
- verslag
- Rapportage
- Rapporten
- vertegenwoordigd
- vertegenwoordigen
- Voorwaarden
- onderzoek
- veerkrachtig
- verantwoordelijk
- responsive
- resultaat
- verkregen
- Rol
- ruw
- dezelfde
- schaalbare
- scaling
- seconden
- beveiligen
- veiligheid
- senior
- sensor
- September
- -Series
- service
- dienstverleners
- Diensten
- reeks
- Delen
- aanzienlijk
- Eenvoudig
- eenvoudigweg
- sinds
- maten
- Klein
- oplossing
- Oplossingen
- sommige
- specifiek
- gestart
- Still
- mediaopslag
- shop
- succes
- OVERZICHT
- leveranciers
- Ondersteuning
- op maat gemaakt
- taken
- team
- teams
- Technisch
- Technologies
- Technologie
- termen
- De
- hun
- bedreiging
- Bedreigingsrapport
- Door
- niet de tijd of
- naar
- Trends
- BEURT
- die ten grondslag liggen
- begrijpen
- openen
- upgrade
- .
- Gebruiker
- gebruikers
- gebruik maken van
- waarde
- versie
- verticals
- via
- zichtbaarheid
- bezoekers
- visualisatie
- gezocht
- Warehousing
- web
- webservices
- Wat
- Wat is
- welke
- en
- WIE
- wensen
- zonder
- Bedrijven
- het schrijven van
- Your
- zephyrnet