Det här inlägget skrevs tillsammans med Hardik Modi, AVP, Threat and Migitation Products på NETSCOUT.
NETSCOUT Omnis Threat Horizon är en global plattform för medvetenhet om cybersäkerhet som ger användare en mycket kontextualiserad insyn i hotaktiviteten "över horisonten" i det globala DDoS-landskapet (Distributed Denial of Service) – hot som kan påverka deras bransch, deras kunder eller deras leverantörer. Det låter besökare skapa anpassade profiler och förstå DDoS-aktivitet som observeras i nästan realtid genom NETSCOUTs ATLAS synlighetsplattform. Användare kan skapa kostnadsfria konton för att skapa anpassade profiler som leder till en kartbaserad visualisering (som i följande skärmdump) samt skräddarsydd sammanfattningsrapportering. DDoS-attacker kan påverka tjänster som levereras över internet. Synlighet av denna karaktär är nyckeln till alla som vill förstå vad som händer i hotbilden. Omnis Threat Horizon har varit allmänt tillgänglig sedan augusti 2019.
För att ge kontinuerlig synlighet till en låg kostnad per användare (för att möjliggöra en gratis tjänst), valde NETSCOUTs utvecklingsteam en serie AWS-teknologier för att driva insamling, lagring, analys, lagring, användarverifiering och leverans av applikationen. I synnerhet valde de Amazon OpenSearch Service som kärnanalysmotorn. De lagrar alla bearbetade attackposter i OpenSearch Service.
Det här inlägget diskuterar de utmaningar och designmönster som NETSCOUT använde på sin väg till att representera detaljerna i ungefär 10 miljoner årliga DDoS-attacker i nästan realtid.
Bakgrund
NETSCOUT är, genom sin Arbor-produktlinje, en långvarig leverantör av lösningar för nätverkssynlighet och DDoS-reducering för tjänsteleverantörer och företag. Sedan 2007 har NETSCOUT drivit ett program som heter ATLAS, där kunder kan välja att dela anonymiserad data om de DDoS-attacker de observerar på sitt nätverk. Allt eftersom detta program har mognat har NETSCOUT omfattande insyn i DDoS-attacklandskapet – både antalet och arten av attacker. Denna synlighet informerar och förbättrar deras produkter, så att de kan dela analysresultat i form av tidningar, blogginlägg och en vartannat år hotrapport. Sedan NETSCOUT började samla in och analysera data i den nuvarande formen i september 2012 har de observerat 96 miljoner attacker, vilket gör det möjligt för dem att utföra avsevärd analys av trender över regioner och vertikaler, samt förstå vilka vektorer som används och storleken på attacker.
Omnis Threat Horizon är en lösning för att visa denna information för en bredare publik – i huvudsak alla som är intresserade av hotlandskapet, och specifikt DDoS-attacktrenderna vid varje given tidpunkt. Förutom att tillhandahålla realtidskartor tillåter lösningen användaren att gå tillbaka i tiden för att visuellt eller i sammanfattande form observera vad som kan ha hänt vid en given tidpunkt.
De ville se till att de visuella elementen och applikationen var lyhörd globalt, både när det gäller att representera realtidsdata och visa historisk information. Dessutom ville de hålla den inkrementella kostnaden per användare så låg som möjligt, för att kunna tillhandahålla denna tjänst gratis globalt.
Lösningsöversikt
Följande diagram illustrerar lösningsarkitekturen.
Ett av målen bakom den valda lösningen var att använda inbyggda AWS-tjänster i alla möjliga fall. Vidare valde de att bryta in komponentfunktionalitet i sina egna mikrotjänster, och konsekvent använda sig av detta genom lösningen.
Individuella övervakningssensorer levererar data till Amazon enkel lagringstjänst (Amazon S3) på timbasis. När nya bidrag tas emot, Amazon enkel meddelandetjänst (Amazon SNS) aviseringar levereras, vilket resulterar i bearbetning av data. Successiva mikrotjänster ansvarar för:
- parsing
- Köra algoritmer för att identifiera och separera falska poster
- Avduplicering
- Poängräkning
- Förtroende
Efter denna bearbetning representeras varje attack som ett separat dokument i OpenSearch Service-domänen. När det här inlägget skrevs har NETSCOUT cirka 96 miljoner attacker i klustret, som alla kan representeras i någon form i kartorna och rapporterna i Omnis Threat Horizon.
Uppgifterna är organiserade i timliga bin-filer och skickas till applikationen via Amazon CloudFront.
Lärdomar relaterade till Elasticsearch
I tidigare projekt försökte NETSCOUT Apache Cassandra, en populär NoSQL-databas med öppen källkod, och ansåg att den var otillräcklig för aggregeringsfrågor. När de utvecklade Horizon valde de Elasticsearch för att få tillgång till mer kraftfulla funktioner för aggregeringsfrågor med betydligt mindre utvecklartid.
De började med en självhanterad instans, men stod inför följande problem:
- Avsevärda utgifter för persontimmar helt enkelt för att hantera infrastrukturen
- Varje versionsuppgradering var en involverad process, som krävde mycket planering och fortfarande innebar tekniska utmaningar på vägen
- Ingen automatisk skalning och stora aggregeringsfrågor kunde bryta Elasticsearch
Efter några cykler av att strömma igenom detta, flyttade de till OpenSearch Service för att övervinna dessa utmaningar.
Resultat
NETSCOUT såg följande fördelar med denna arkitektur:
- Snabb bearbetning av attackdata – Tiden från det att attackdata tas emot tills den är tillgänglig i datalagret är i storleksordningen sekunder, vilket gör att de kan ge synlighet i nästan realtid i lösningen.
- Lägre administrationskostnader – Datalagret växer konsekvent och genom att använda en hanterad tjänst slipper teamen utföra uppgifter relaterade till klusterhantering. Detta var en stor smärtpunkt med tidigare lösningar som använde samma teknik.
- Skalbar arkitektur – Det är möjligt att lägga till nya funktioner i pipelinen när krav dyker upp, utan att bygga om andra komponenter.
Slutsats
Med OpenSearch Service har NETSCOUT kunnat bygga ett motståndskraftigt datalager för attackdata de fångar in. Som ett resultat av gjorda arkitektoniska val och de underliggande AWS-tjänsterna kan de ge synlighet i sina data till små inkrementella kostnader, vilket gör att de kan tillhandahålla en global synlighetsplattform utan kostnad för slutanvändaren.
Med den största erfarenheten, det mest pålitliga, skalbara och säkra molnet och den mest omfattande uppsättningen tjänster och lösningar är AWS det bästa stället att låsa upp värde från din data och omvandla den till insikt.
Om författarna
Hardik Modi är AVP, Threat and Migitation Products på NETSCOUT. I denna roll övervakar han teamen som ansvarar för begränsningsprodukter samt skapandet av säkerhetsinnehåll för NETSCOUTs produkter, vilket möjliggör klassens bästa skydd för användare, såväl som kontinuerlig leverans och publicering av effektfull forskning över DDoS och Intrusion landskap.
Sujatha Kuppuraju är en Principal Solutions Architect på Amazon Web Services (AWS). Hon samarbetar med kunder för att skapa innovativa lösningar som tar itu med kundernas affärsproblem och påskyndar införandet av AWS-tjänster.
Mike Arruda är Senior Technical Account Manager på AWS, baserad i New England-området. Han arbetar med AWS Enterprise-kunder, stödjer deras framgång med att anta bästa praxis och hjälper dem att uppnå önskade affärsresultat med AWS.
- SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
- Platoblockchain. Web3 Metaverse Intelligence. Kunskap förstärkt. Tillgång här.
- Källa: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 miljoner
- 10
- 100
- 2012
- 2019
- a
- Able
- Om oss
- accelerera
- tillgång
- Konto
- konton
- Uppnå
- tvärs
- aktivitet
- Dessutom
- adress
- antagen
- Anta
- Antagande
- aggregation
- algoritmer
- Alla
- tillåta
- tillåter
- amason
- Amazon Web Services
- Amazon Web Services (AWS)
- analys
- analytics
- analys
- och
- årsringar
- någon
- Apache
- Ansökan
- cirka
- arkitektoniska
- arkitektur
- OMRÅDE
- atlas
- attackera
- Attacker
- AUGUSTI
- Autentisering
- bil
- tillgänglig
- medvetenhet
- AWS
- tillbaka
- baserat
- grund
- bakom
- Där vi får lov att vara utan att konstant prestera,
- Fördelarna
- BÄST
- bästa praxis
- Stor
- Blogg
- Blogginlägg
- Ha sönder
- bredare
- SLUTRESULTAT
- byggt
- företag
- kallas
- kapacitet
- fånga
- utmaningar
- val
- valde
- valda
- cloud
- kluster
- Samla
- samling
- komponent
- komponenter
- omfattande
- betydande
- anses
- konsekvent
- innehåll
- kontinuerlig
- Kärna
- Pris
- Kostar
- kunde
- skapa
- skapande
- Aktuella
- beställnings
- kund
- Kunder
- kundanpassad
- Cybersäkerhet
- cykler
- datum
- Databas
- DDoS
- DDoS-attack
- leverera
- levereras
- leverans
- Denial of Service
- Designa
- Design mönster
- detaljer
- Utvecklare
- utveckla
- Utveckling
- Visa
- distribueras
- dokumentera
- domän
- varje
- Elasticsearch
- element
- möjliggöra
- möjliggör
- Motor
- England
- Företag
- företagskunder
- företag
- Eter (ETH)
- erfarenhet
- inför
- få
- Filer
- efter
- formen
- Fri
- från
- funktionalitet
- Vidare
- allmänhet
- skaffa sig
- ges
- Välgörenhet
- Globalt
- Go
- Växer
- har
- hjälpa
- höggradigt
- historisk
- horisonten
- ÖPPETTIDER
- Hur ser din drömresa ut
- HTTPS
- identifiera
- effektfull
- förbättrar
- in
- industrin
- informationen
- innovativa
- insikt
- exempel
- intresserad
- Internet
- involverade
- problem
- IT
- Ha kvar
- Nyckel
- liggande
- leda
- lärt
- linje
- Lot
- Låg
- gjord
- göra
- hantera
- förvaltade
- ledning
- chef
- karta
- kartor
- microservices
- kanske
- miljon
- begränsning
- övervakning
- mer
- mest
- nativ
- Natur
- nät
- Nya
- anmälan
- anmälningar
- antal
- mål
- observera
- öppen källkod
- drivs
- beställa
- Organiserad
- Övriga
- Övervinna
- egen
- Smärta
- papper
- särskilt
- bana
- mönster
- utföra
- personen
- rörledning
- Plats
- planering
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Punkt
- Populära
- möjlig
- Inlägg
- inlägg
- kraft
- den mäktigaste
- Strömförsörjning
- praxis
- föregående
- Principal
- problem
- process
- bearbetning
- Produkt
- Produkter
- Profiler
- Program
- projekt
- skydd
- ge
- leverantör
- leverantörer
- tillhandahålla
- Offentliggörande
- realtid
- data i realtid
- mottagna
- register
- regioner
- relaterad
- pålitlig
- rapport
- Rapportering
- Rapport
- representerade
- representerar
- Krav
- forskning
- elastisk
- ansvarig
- mottaglig
- resultera
- resulterande
- Roll
- ungefär
- Samma
- skalbar
- skalning
- sekunder
- säkra
- säkerhet
- senior
- sensor
- September
- Serier
- service
- tjänsteleverantörer
- Tjänster
- in
- Dela
- signifikant
- Enkelt
- helt enkelt
- eftersom
- storlekar
- Small
- lösning
- Lösningar
- några
- specifikt
- igång
- Fortfarande
- förvaring
- lagra
- framgång
- SAMMANFATTNING
- leverantörer
- Stödjande
- skräddarsydd
- uppgifter
- grupp
- lag
- Teknisk
- Tekniken
- Teknologi
- villkor
- Smakämnen
- deras
- hot
- Hotrapport
- Genom
- tid
- till
- Trender
- SVÄNG
- underliggande
- förstå
- låsa
- uppgradera
- användning
- Användare
- användare
- utnyttja
- värde
- version
- vertikaler
- via
- synlighet
- besökare
- visualisering
- ville
- Lagring
- webb
- webbservice
- Vad
- Vad är
- som
- medan
- VEM
- önskemål
- utan
- fungerar
- skrivning
- Din
- zephyrnet