Dette innlegget ble skrevet sammen med Hardik Modi, AVP, Threat and Migitation Products hos NETSCOUT.
NETSCOUT Omnis Threat Horizon er en global bevissthetsplattform for cybersikkerhet som gir brukere svært kontekstualiserte innsyn i trusselaktiviteten «over horisonten» i det globale DDoS-landskapet (Distributed Denial of Service) – trusler som kan påvirke deres industri, deres kunder eller deres leverandører. Det lar besøkende lage tilpassede profiler og forstå DDoS-aktivitet som blir observert i nesten sanntid gjennom NETSCOUTs ATLAS-synlighetsplattform. Brukere kan opprette gratis kontoer for å lage tilpassede profiler som fører til en kartbasert visualisering (som i følgende skjermbilde) samt skreddersydd sammendragsrapportering. DDoS-angrep kan ha innvirkning på tjenester levert over internett. Synlighet av denne art er nøkkelen til alle som ønsker å forstå hva som skjer i trussellandskapet. Omnis Threat Horizon har vært generelt tilgjengelig siden august 2019.
For å gi kontinuerlig synlighet til en lav kostnad per bruker (for å muliggjøre en gratis tjeneste), valgte NETSCOUT-utviklingsteamet en rekke AWS-teknologier for å drive innsamling, lagring, analyse, lagring, brukerautentisering og levering av applikasjonen. Spesielt valgte de Amazon OpenSearch-tjeneste som kjerneanalysemotoren. De lagrer alle behandlede angrepsposter i OpenSearch Service.
Dette innlegget diskuterer utfordringene og designmønstrene NETSCOUT brukte på sin vei til å representere detaljene i omtrent 10 millioner årlige DDoS-angrep i nesten sanntid.
Bakgrunn
NETSCOUT, gjennom sin Arbor-produktlinje, er en langvarig leverandør av løsninger for nettverkssynlighet og DDoS-reduksjon for tjenesteleverandører og bedrifter. Siden 2007 har NETSCOUT drevet et program kalt ATLAS, der kunder kan velge å dele anonymiserte data om DDoS-angrepene de observerer på nettverket sitt. Etter hvert som dette programmet har modnet, har NETSCOUT omfattende innsyn i DDoS-angrepslandskapet – både antallet og arten av angrep. Denne synligheten informerer og forbedrer produktene deres, slik at de kan dele analysefunn i form av artikler, blogginnlegg og en halvårlig trusselrapport. Siden NETSCOUT begynte å samle inn og analysere data i den nåværende formen i september 2012, har de observert 96 millioner angrep, slik at de kan utføre betydelige analyser av trender på tvers av regioner og vertikaler, samt forstå vektorene som brukes og angrepsstørrelsene.
Omnis Threat Horizon er en løsning for å vise denne informasjonen til et bredere publikum – i hovedsak alle som er interessert i trussellandskapet, og spesifikt DDoS-angrepstrendene til enhver tid. I tillegg til å gi sanntidskart, lar løsningen brukeren gå tilbake i tid for å observere visuelt eller i oppsummerende form hva som kan ha skjedd på et gitt tidspunkt.
De ønsket å forsikre seg om at de visuelle elementene og applikasjonen var responsiv globalt, både når det gjaldt å representere sanntidsdata så vel som å vise historisk informasjon. Videre ønsket de å holde den inkrementelle kostnaden per bruker så lav som mulig, for å kunne tilby denne tjenesten gratis globalt.
Løsningsoversikt
Følgende diagram illustrerer løsningsarkitekturen.
Et av målene bak den valgte løsningen var å bruke native AWS-tjenester i alle mulige tilfeller. Videre valgte de å bryte komponentfunksjonalitet inn i egne mikrotjenester, og gjøre konsekvent bruk av dette gjennom løsningen.
Individuelle overvåkingssensorer leverer data til Amazon enkel lagringstjeneste (Amazon S3) på timebasis. Etter hvert som nye bidrag mottas, Amazon enkel varslingstjeneste (Amazon SNS) varsler leveres, noe som resulterer i behandling av dataene. Påfølgende mikrotjenester er ansvarlige for:
- parsing
- Kjører algoritmer for å identifisere og skille falske oppføringer
- Deduplisering
- Scoring
- Tillit
Etter denne behandlingen er hvert angrep representert som et separat dokument i OpenSearch Service-domenet. Når du skriver dette innlegget, har NETSCOUT omtrent 96 millioner angrep i klyngen, som alle kan representeres i en eller annen form i kartene og rapportene i Omnis Threat Horizon.
Dataene er organisert i timebaserte bin-filer, og servert til applikasjonen via Amazon CloudFront.
Erfaringer knyttet til Elasticsearch
På tidligere prosjekter prøvde NETSCOUT Apache Cassandra, en populær NoSQL åpen kildekode-database, og anså den som utilstrekkelig for aggregeringsspørringer. Mens de utviklet Horizon, valgte de Elasticsearch for å få tilgang til kraftigere aggregeringsspørringsfunksjoner med betydelig mindre utviklertid.
De startet med en selvstyrt instans, men møtte følgende problemer:
- Betydelige utgifter på persontimer bare for å administrere infrastrukturen
- Hver versjonsoppgradering var en involvert prosess, som krevde mye planlegging og fortsatt medførte tekniske utfordringer underveis
- Ingen automatisk skalering og store aggregeringsspørringer kan bryte Elasticsearch
Etter noen få sykluser med strøm gjennom dette, flyttet de til OpenSearch Service for å overvinne disse utfordringene.
Utfallet
NETSCOUT så følgende fordeler med denne arkitekturen:
- Rask behandling av angrepsdata – Tiden fra angrepsdata mottas til de er tilgjengelige i datalageret er i størrelsesorden sekunder, slik at de kan gi nesten sanntidssynlighet i løsningen.
- Lavere administrasjonskostnader – Datalageret vokser konsekvent, og ved å bruke en administrert tjeneste slipper teamene å utføre oppgaver knyttet til klyngeadministrasjon. Dette var et stort smertepunkt med tidligere løsninger som ble tatt i bruk med samme teknologi.
- Skalerbar arkitektur – Det er mulig å legge til nye funksjoner i pipelinen etter hvert som kravene dukker opp, uten å rearkitekte andre komponenter.
konklusjonen
Med OpenSearch Service har NETSCOUT vært i stand til å bygge et spenstig datalager for angrepsdataene de fanger. Som et resultat av arkitektoniske valg som er gjort og de underliggende AWS-tjenestene, er de i stand til å gi synlighet til dataene sine til små inkrementelle kostnader, slik at de kan tilby en global synlighetsplattform uten kostnad for sluttbrukeren.
Med mest erfaring, den mest pålitelige, skalerbare og sikre skyen, og det mest omfattende settet med tjenester og løsninger, er AWS det beste stedet å låse opp verdi fra dataene dine og gjøre dem om til innsikt.
Om forfatterne
Hardik Modi er AVP, Threat and Migitation Products hos NETSCOUT. I denne rollen fører han tilsyn med teamene som er ansvarlige for reduksjonsprodukter samt opprettelsen av sikkerhetsinnhold for NETSCOUTs produkter, noe som muliggjør best-in-class beskyttelse for brukere, samt kontinuerlig levering og publisering av effektfull forskning på tvers av DDoS og Intrusion landskap.
Sujatha Kuppuraju er en hovedløsningsarkitekt hos Amazon Web Services (AWS). Hun engasjerer seg med kunder for å skape innovative løsninger som adresserer kundenes forretningsproblemer og akselererer innføringen av AWS-tjenester.
Mike Arruda er Senior Technical Account Manager hos AWS, basert i New England-området. Han jobber med AWS Enterprise-kunder, støtter deres suksess med å ta i bruk beste praksis og hjelper dem med å oppnå de ønskede forretningsresultatene med AWS.
- SEO-drevet innhold og PR-distribusjon. Bli forsterket i dag.
- Platoblokkkjede. Web3 Metaverse Intelligence. Kunnskap forsterket. Tilgang her.
- kilde: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 millioner
- 10
- 100
- 2012
- 2019
- a
- I stand
- Om oss
- akselerere
- adgang
- Logg inn
- kontoer
- Oppnå
- tvers
- aktivitet
- tillegg
- adresse
- vedtatt
- vedta
- Adopsjon
- aggregering
- algoritmer
- Alle
- tillate
- tillater
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- analyse
- analytics
- analyserer
- og
- årlig
- noen
- Apache
- Søknad
- ca
- arkitektonisk
- arkitektur
- AREA
- atlas
- angripe
- Angrep
- August
- Autentisering
- auto
- tilgjengelig
- bevissthet
- AWS
- tilbake
- basert
- basis
- bak
- være
- Fordeler
- BEST
- beste praksis
- Stor
- Blogg
- Blogginnlegg
- Break
- bredere
- bygge
- bygget
- virksomhet
- som heter
- evner
- fangst
- utfordringer
- valg
- valgte
- valgt ut
- Cloud
- Cluster
- Samle
- samling
- komponent
- komponenter
- omfattende
- betydelig
- ansett
- konsistent
- innhold
- kontinuerlig
- Kjerne
- Kostnad
- Kostnader
- kunne
- skape
- skaperverket
- Gjeldende
- skikk
- kunde
- Kunder
- tilpasset
- Cybersecurity
- sykluser
- dato
- Database
- DDoS
- DDoS angrep
- leverer
- levert
- levering
- Denial of Service
- utforming
- designmønstre
- detaljer
- Utvikler
- utvikle
- Utvikling
- Vise
- distribueres
- dokument
- domene
- hver enkelt
- Elasticsearch
- elementer
- muliggjøre
- muliggjør
- Motor
- England
- Enterprise
- bedriftskunder
- bedrifter
- Eter (ETH)
- erfaring
- møtt
- Noen få
- Filer
- etter
- skjema
- Gratis
- fra
- funksjonalitet
- Dess
- generelt
- få
- gitt
- Global
- Globalt
- Go
- Vokser
- å ha
- hjelpe
- svært
- historisk
- horisont
- TIMER
- Hvordan
- HTTPS
- identifisere
- innflytelsesrik
- forbedrer
- in
- industri
- informasjon
- innovative
- innsikt
- f.eks
- interessert
- Internet
- involvert
- saker
- IT
- Hold
- nøkkel
- landskap
- føre
- lært
- linje
- Lot
- Lav
- laget
- gjøre
- administrer
- fikk til
- ledelse
- leder
- kart
- Kart
- microservices
- kunne
- millioner
- skadebegrensning
- overvåking
- mer
- mest
- innfødt
- Natur
- nettverk
- Ny
- varsling
- varslinger
- Antall
- mål
- observere
- åpen kildekode
- operert
- rekkefølge
- Organisert
- Annen
- Overcome
- egen
- Smerte
- papirer
- Spesielt
- banen
- mønstre
- utføre
- person
- rørledning
- Sted
- planlegging
- plattform
- plato
- Platon Data Intelligence
- PlatonData
- Point
- Populær
- mulig
- Post
- innlegg
- makt
- kraftig
- Slå
- praksis
- forrige
- Principal
- problemer
- prosess
- prosessering
- Produkt
- Produkter
- Profiler
- program
- prosjekter
- beskyttelse
- gi
- leverandør
- tilbydere
- gi
- Utgivelse
- sanntids
- sanntidsdata
- mottatt
- poster
- regioner
- i slekt
- pålitelig
- rapporterer
- Rapportering
- Rapporter
- representert
- representerer
- Krav
- forskning
- spenstig
- ansvarlig
- responsive
- resultere
- resulterende
- Rolle
- omtrent
- samme
- skalerbar
- skalering
- sekunder
- sikre
- sikkerhet
- senior
- sensorer
- September
- Serien
- tjeneste
- tjenestetilbydere
- Tjenester
- sett
- Del
- betydelig
- Enkelt
- ganske enkelt
- siden
- størrelser
- liten
- løsning
- Solutions
- noen
- spesielt
- startet
- Still
- lagring
- oppbevare
- suksess
- SAMMENDRAG
- leverandører
- Støtte
- skreddersydd
- oppgaver
- lag
- lag
- Teknisk
- Technologies
- Teknologi
- vilkår
- De
- deres
- trussel
- Trusselrapport
- Gjennom
- tid
- til
- Trender
- SVING
- underliggende
- forstå
- låse opp
- oppgradering
- bruke
- Bruker
- Brukere
- bruke
- verdi
- versjon
- vertikaler
- av
- synlighet
- besøkende
- visualisering
- ønsket
- lager
- web
- webtjenester
- Hva
- Hva er
- hvilken
- mens
- HVEM
- ønsker
- uten
- virker
- skriving
- Din
- zephyrnet