Dette indlæg er skrevet sammen med Hardik Modi, AVP, Threat and Migitation Products hos NETSCOUT.
NETSCOUT Omnis Threat Horizon er en global cybersikkerhedsbevidsthedsplatform, der giver brugerne et stærkt kontekstualiseret syn på trusselsaktivitet "over horisonten" i det globale DDoS-landskab (Distributed Denial of Service) – trusler, der kan påvirke deres branche, deres kunder eller deres leverandører. Det giver besøgende mulighed for at oprette brugerdefinerede profiler og forstå DDoS-aktivitet, der bliver observeret i næsten realtid gennem NETSCOUTs ATLAS synlighedsplatform. Brugere kan oprette gratis konti for at oprette tilpassede profiler, der fører til en kortbaseret visualisering (som i det følgende skærmbillede) samt skræddersyet oversigtsrapportering. DDoS-angreb kan have indflydelse på tjenester leveret over internettet. Synlighed af denne art er nøglen til alle, der ønsker at forstå, hvad der sker i trusselslandskabet. Omnis Threat Horizon har været generelt tilgængelig siden august 2019.
For at give kontinuerlig synlighed til en lav pris pr. bruger (for at muliggøre en gratis tjeneste), valgte NETSCOUT-udviklingsteamet en række AWS-teknologier til at drive indsamling, opbevaring, analyse, lager, brugergodkendelse og levering af applikationen. Især valgte de Amazon OpenSearch Service som kerneanalysemotoren. De gemmer alle behandlede angrebsposter i OpenSearch Service.
Dette indlæg diskuterer de udfordringer og designmønstre, NETSCOUT brugte på sin vej til at repræsentere detaljerne i omkring 10 millioner årlige DDoS-angreb i næsten realtid.
Baggrund
NETSCOUT er gennem sin Arbor-produktlinje en langtidsleverandør af løsninger til netværkssynlighed og DDoS-reduktion til tjenesteudbydere og virksomheder. Siden 2007 har NETSCOUT drevet et program kaldet ATLAS, hvor kunder kan vælge at dele anonymiserede data om de DDoS-angreb, de observerer på deres netværk. Efterhånden som dette program er modnet, har NETSCOUT omfattende synlighed i DDoS-angrebslandskabet – både antallet og arten af angreb. Denne synlighed informerer og forbedrer deres produkter, så de kan dele analyseresultater i form af papirer, blogindlæg og en halvårlig trusselrapport. Siden NETSCOUT begyndte at indsamle og analysere data i den nuværende form i september 2012, har de observeret 96 millioner angreb, hvilket giver dem mulighed for at udføre betydelige analyser af tendenser på tværs af regioner og vertikaler, samt forstå de anvendte vektorer og størrelsen af angreb.
Omnis Threat Horizon er en løsning til at vise denne information til et bredere publikum – i det væsentlige alle, der er interesseret i trusselslandskabet, og specifikt DDoS-angrebstendenserne på ethvert givet tidspunkt. Ud over at levere kort i realtid giver løsningen brugeren mulighed for at gå tilbage i tiden for visuelt eller i opsummerende form at observere, hvad der kunne være sket på et givet tidspunkt.
De ønskede at sikre sig, at de visuelle elementer og applikationen var responsive globalt, både med hensyn til at repræsentere realtidsdata såvel som at vise historisk information. Desuden ønskede de at holde de trinvise omkostninger pr. bruger så lave som muligt, for at kunne levere denne service gratis globalt.
Løsningsoversigt
Følgende diagram illustrerer løsningsarkitekturen.
Et af målene bag den valgte løsning var at bruge native AWS-tjenester i alle mulige tilfælde. Ydermere valgte de at bryde komponentfunktionalitet op i deres egne mikrotjenester, og gøre konsekvent brug af dette gennem løsningen.
Individuelle overvågningssensorer leverer data til Amazon Simple Storage Service (Amazon S3) på timebasis. Efterhånden som nye tilmeldinger modtages, Amazon Simple Notification Service (Amazon SNS) meddelelser leveres, hvilket resulterer i behandling af dataene. Successive mikrotjenester er ansvarlige for:
- parsing
- Kørende algoritmer til at identificere og adskille falske indtastninger
- Deduplikation
- Scoring
- Confidence
Efter denne behandling er hvert angreb repræsenteret som et separat dokument i OpenSearch Service-domænet. Da dette indlæg blev skrevet, har NETSCOUT cirka 96 millioner angreb i klyngen, som alle kan repræsenteres i en eller anden form i kortene og rapporterne i Omnis Threat Horizon.
Dataene er organiseret i timebaserede bin-filer og serveret til applikationen via Amazon CloudFront.
Erfaringer relateret til Elasticsearch
På tidligere projekter prøvede NETSCOUT Apache Cassandra, en populær NoSQL open source-database, og anså den for utilstrækkelig til aggregeringsforespørgsler. Mens de udviklede Horizon, valgte de Elasticsearch for at få adgang til mere kraftfulde aggregeringsforespørgselsfunktioner med væsentligt mindre udviklertid.
De startede med en selvadministreret instans, men stod over for følgende problemer:
- Betydelige udgifter på persontimer blot for at styre infrastrukturen
- Hver versionsopgradering var en involveret proces, der krævede en masse planlægning og stadig medførte tekniske udfordringer undervejs
- Ingen automatisk skalering og store aggregeringsforespørgsler kunne bryde Elasticsearch
Efter et par cyklusser, hvor de havde gennemgået dette, flyttede de til OpenSearch Service for at overvinde disse udfordringer.
Resultat
NETSCOUT så følgende fordele ved denne arkitektur:
- Hurtig behandling af angrebsdata – Tiden, fra angrebsdata modtages, til de er tilgængelige i datalageret, er i størrelsesordenen sekunder, hvilket giver dem mulighed for at give nær-realtidssynlighed i løsningen.
- Lavere administrationsomkostninger – Datalageret vokser konsekvent, og ved at bruge en administreret service undgår teams at skulle udføre opgaver relateret til klyngestyring. Dette var et stort problem med tidligere løsninger, der involverede den samme teknologi.
- Skalerbar arkitektur – Det er muligt at tilføje nye muligheder i pipelinen, efterhånden som kravene dukker op, uden at omstrukturere andre komponenter.
Konklusion
Med OpenSearch Service har NETSCOUT været i stand til at bygge et robust datalager til de angrebsdata, de fanger. Som et resultat af de arkitektoniske valg og de underliggende AWS-tjenester, er de i stand til at give synlighed i deres data til små trinvise omkostninger, hvilket giver dem mulighed for at levere en global synlighedsplatform uden omkostninger for slutbrugeren.
Med den mest erfaring, den mest pålidelige, skalerbare og sikre sky og det mest omfattende sæt af tjenester og løsninger er AWS det bedste sted at frigøre værdi fra dine data og omdanne dem til indsigt.
Om forfatterne
Hardik Modi er AVP, Threat and Migitation Products hos NETSCOUT. I denne rolle fører han tilsyn med de teams, der er ansvarlige for afbødningsprodukter samt oprettelsen af sikkerhedsindhold til NETSCOUTs produkter, hvilket muliggør den bedste beskyttelse for brugere, samt den kontinuerlige levering og offentliggørelse af effektfuld forskning på tværs af DDoS og Intrusion landskaber.
Sujatha Kuppuraju er Principal Solutions Architect hos Amazon Web Services (AWS). Hun engagerer sig med kunder for at skabe innovative løsninger, der adresserer kundernes forretningsproblemer og fremskynder adoptionen af AWS-tjenester.
Mike Arruda er Senior Technical Account Manager hos AWS med base i New England-området. Han arbejder med AWS Enterprise-kunder, understøtter deres succes med at indføre bedste praksis og hjælper dem med at opnå deres ønskede forretningsresultater med AWS.
- SEO Powered Content & PR Distribution. Bliv forstærket i dag.
- Platoblokkæde. Web3 Metaverse Intelligence. Viden forstærket. Adgang her.
- Kilde: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 millioner
- 10
- 100
- 2012
- 2019
- a
- I stand
- Om
- fremskynde
- adgang
- Konto
- Konti
- opnå
- tværs
- aktivitet
- Desuden
- adresse
- vedtaget
- Vedtagelsen
- Vedtagelse
- aggregering
- algoritmer
- Alle
- tillade
- tillader
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- analyse
- analytics
- analysere
- ,
- årligt
- nogen
- Apache
- Anvendelse
- cirka
- arkitektonisk
- arkitektur
- OMRÅDE
- atlas
- angribe
- Angreb
- AUGUST
- Godkendelse
- auto
- til rådighed
- bevidsthed
- AWS
- tilbage
- baseret
- grundlag
- bag
- være
- fordele
- BEDSTE
- bedste praksis
- Big
- Blog
- Blogindlæg
- Pause
- bredere
- bygge
- bygget
- virksomhed
- kaldet
- kapaciteter
- fange
- udfordringer
- valg
- valgte
- valgt
- Cloud
- Cluster
- Indsamling
- samling
- komponent
- komponenter
- omfattende
- betydelig
- betragtes
- konsekvent
- indhold
- kontinuerlig
- Core
- Koste
- Omkostninger
- kunne
- skabe
- skabelse
- Nuværende
- skik
- kunde
- Kunder
- tilpassede
- Cybersecurity
- cykler
- data
- Database
- DDoS
- DDoS-angreb
- levere
- leveret
- levering
- Denial of Service
- Design
- design mønstre
- detaljer
- Udvikler
- udvikling
- Udvikling
- Skærm
- distribueret
- dokumentet
- domæne
- hver
- Elasticsearch
- elementer
- muliggøre
- muliggør
- Engine (Motor)
- England
- Enterprise
- virksomhedskunder
- virksomheder
- Ether (ETH)
- erfaring
- konfronteret
- få
- Filer
- efter
- formular
- Gratis
- fra
- funktionalitet
- Endvidere
- generelt
- få
- given
- Global
- Globalt
- Go
- Vokser
- have
- hjælpe
- stærkt
- historisk
- horisont
- HOURS
- Hvordan
- HTTPS
- identificere
- effektfuld
- forbedrer
- in
- industrien
- oplysninger
- innovativ
- indsigt
- instans
- interesseret
- Internet
- involverede
- spørgsmål
- IT
- Holde
- Nøgle
- landskab
- føre
- lærte
- Line (linje)
- Lot
- Lav
- lavet
- lave
- administrere
- lykkedes
- ledelse
- leder
- kort
- Maps
- microservices
- måske
- million
- afbødning
- overvågning
- mere
- mest
- indfødte
- Natur
- netværk
- Ny
- underretning
- meddelelser
- nummer
- målsætninger
- observere
- open source
- betjenes
- ordrer
- Organiseret
- Andet
- Overvind
- egen
- Smerte
- papirer
- særlig
- sti
- mønstre
- udføre
- person,
- pipeline
- Place
- planlægning
- perron
- plato
- Platon Data Intelligence
- PlatoData
- Punkt
- Populær
- mulig
- Indlæg
- Indlæg
- magt
- vigtigste
- strømforsyning
- praksis
- tidligere
- Main
- problemer
- behandle
- forarbejdning
- Produkt
- Produkter
- Profiler
- Program
- projekter
- beskyttelse
- give
- udbyder
- udbydere
- leverer
- Offentliggørelse
- realtid
- data i realtid
- modtaget
- optegnelser
- regioner
- relaterede
- pålidelig
- indberette
- Rapportering
- Rapporter
- repræsenteret
- repræsenterer
- Krav
- forskning
- elastisk
- ansvarlige
- lydhør
- resultere
- resulterer
- roller
- groft
- samme
- skalerbar
- skalering
- sekunder
- sikker
- sikkerhed
- senior
- sensorer
- september
- Series
- tjeneste
- service-udøvere
- Tjenester
- sæt
- Del
- betydeligt
- Simpelt
- ganske enkelt
- siden
- størrelser
- lille
- løsninger
- Løsninger
- nogle
- specifikt
- påbegyndt
- Stadig
- opbevaring
- butik
- succes
- RESUMÉ
- leverandører
- Støtte
- skræddersyet
- opgaver
- hold
- hold
- Teknisk
- Teknologier
- Teknologier
- vilkår
- deres
- trussel
- Trusselsrapport
- Gennem
- tid
- til
- Tendenser
- TUR
- underliggende
- forstå
- låse
- opgradering
- brug
- Bruger
- brugere
- udnytte
- værdi
- udgave
- vertikaler
- via
- synlighed
- besøgende
- visualisering
- ønskede
- Warehousing
- web
- webservices
- Hvad
- Hvad er
- som
- mens
- WHO
- ønsker
- uden
- virker
- skrivning
- Din
- zephyrnet