See postitus kirjutati koos Hardik Modiga, NETSCOUTi ohu- ja migratsioonitoodete AVP-ga.
NETSCOUT Omnis Threat Horizon on ülemaailmne küberturvalisuse teadlikkuse tõstmise platvorm, mis pakub kasutajatele kontekstuaalset ülevaadet „horisondi taga olevatest” ohtudest globaalsel DDoS-i (Distributed Denial of Service) maastikul – ohtudest, mis võivad mõjutada nende tööstust, kliente või tarnijaid. See võimaldab külastajatel luua kohandatud profiile ja mõista DDoS-i tegevust, mida NETSCOUTi ATLAS-i nähtavusplatvormi kaudu peaaegu reaalajas jälgitakse. Kasutajad saavad luua tasuta kontosid, et luua kohandatud profiile, mis viivad kaardipõhise visualiseerimiseni (nagu järgmisel ekraanipildil) ja kohandatud kokkuvõtliku aruandluseni. DDoS-i rünnakud võivad mõjutada Interneti kaudu pakutavaid teenuseid. Selle looduse nähtavus on võtmetähtsusega kõigile, kes soovivad mõista ohumaastikul toimuvat. Omnis Threat Horizon on üldiselt saadaval alates 2019. aasta augustist.
Pideva nähtavuse pakkumiseks madalate kuludega kasutaja kohta (tasuta teenuse võimaldamiseks) valis NETSCOUTi arendusmeeskond rea AWS-i tehnoloogiaid, mis toetavad rakenduse kogumist, salvestamist, analüüsi, ladustamist, kasutaja autentimist ja tarnimist. Eelkõige valisid nad Amazon OpenSearchi teenus põhilise analüütikamootorina. Nad salvestavad kõik töödeldud rünnakukirjed OpenSearch Service'is.
See postitus käsitleb väljakutseid ja disainimustreid, mida NETSCOUT kasutas oma teel, et esitada peaaegu reaalajas ligikaudu 10 miljoni iga-aastase DDoS-rünnaku üksikasju.
Taust
NETSCOUT on oma Arbori tootesarja kaudu pikaajaline võrgu nähtavuse ja DDoS-i leevendamise lahenduste pakkuja teenusepakkujatele ja ettevõtetele. Alates 2007. aastast on NETSCOUT kasutanud programmi nimega ATLAS, mille raames saavad kliendid jagada anonüümseid andmeid DDoS-i rünnakute kohta, mida nad oma võrgus jälgivad. Kuna see programm on küpsenud, on NETSCOUTil igakülgne ülevaade DDoS-i ründemaastikust – nii rünnakute arvust kui olemusest. See nähtavus teavitab ja täiustab nende tooteid, võimaldades neil jagada analüüsitulemusi paberite, ajaveebipostituste ja kaks korda aastas esitatava ohuaruande kujul. Alates sellest, kui NETSCOUT alustas praegusel kujul andmete kogumist ja analüüsimist 2012. aasta septembris, on nad täheldanud 96 miljonit rünnakut, mis võimaldab neil teha märkimisväärset suundumuste analüüsi piirkondade ja vertikaalide lõikes ning mõista kasutatud vektoreid ja rünnakute suurusi.
Omnis Threat Horizon on lahendus selle teabe kuvamiseks laiemale publikule – põhimõtteliselt kõigile, kes on huvitatud ohumaastikust ja konkreetselt DDoS-i ründesuundadest igal ajahetkel. Lisaks reaalajas kaartide pakkumisele võimaldab lahendus kasutajal minna ajas tagasi, et jälgida visuaalselt või kokkuvõtlikult, mis võis antud ajahetkel toimuda.
Nad tahtsid veenduda, et visuaalsed elemendid ja rakendus reageerivad globaalselt nii reaalajas andmete esitamise kui ka ajaloolise teabe kuvamise osas. Lisaks soovisid nad hoida lisakulu kasutaja kohta võimalikult madalal, et saaks seda teenust ülemaailmselt tasuta pakkuda.
Lahenduse ülevaade
Järgnev diagramm illustreerib lahenduse arhitektuuri.
Üks valitud lahenduse eesmärke oli kasutada natiivseid AWS-teenuseid igal võimalikul juhul. Lisaks otsustasid nad jagada komponentide funktsionaalsuse oma mikroteenusteks ja kasutada seda lahenduse kaudu järjepidevalt.
Individuaalsed jälgimisandurid edastavad andmeid Amazoni lihtne salvestusteenus (Amazon S3) tunnipõhiselt. Uute kannete laekumisel Amazoni lihtne teavitusteenus (Amazon SNS) teatised edastatakse, mille tulemusel töödeldakse andmeid. Järjestikused mikroteenused vastutavad:
- Parsimine
- Algoritmide käitamine võltskirjete tuvastamiseks ja eraldamiseks
- Duplikatsioon
- Hinded
- Usaldus
Pärast seda töötlemist kuvatakse iga rünnak OpenSearch Service'i domeenis eraldi dokumendina. Selle postituse kirjutamise seisuga on NETSCOUTil klastris ligikaudu 96 miljonit rünnakut, mis kõik on mingil kujul esitatud Omnis Threat Horizoni kaartidel ja aruannetes.
Andmed on korraldatud tunnis prügikastifailidesse ja edastatakse rakendusele selle kaudu Amazon CloudFront.
Elasticsearchiga seotud õppetunnid
Varasemate projektide puhul proovis NETSCOUT Apache Cassandrat, populaarset NoSQL-i avatud lähtekoodiga andmebaasi, ja pidas seda koondamispäringute jaoks ebapiisavaks. Horizoni arendamisel valisid nad Elasticsearchi, et saada juurdepääs võimsamatele koondamispäringuvõimalustele oluliselt vähema arendaja ajaga.
Nad alustasid isehallatava eksemplariga, kuid seisid silmitsi järgmiste probleemidega.
- Märkimisväärne inimtundide kulu lihtsalt infrastruktuuri haldamiseks
- Iga versiooniuuendus oli kaasatud protsess, mis nõudis palju planeerimist ja tekitas endiselt tehnilisi väljakutseid
- Ükski automaatne skaleerimine ja suured koondamispäringud ei suudaks Elasticsearchi rikkuda
Pärast mõne tsükli läbimist läksid nad nende väljakutsete ületamiseks üle OpenSearch Service'ile.
Tulemus
NETSCOUT nägi sellest arhitektuurist järgmisi eeliseid:
- Rünnakuandmete kiire töötlemine – Aeg ründeandmete vastuvõtmisest kuni nende andmesalves kättesaadavaks saamiseni on suurusjärgus sekundit, võimaldades neil pakkuda lahenduses peaaegu reaalajas nähtavust.
- Madalamad halduskulud – Andmesalv kasvab järjepidevalt ja hallatud teenust kasutades väldivad meeskonnad klastrihaldusega seotud ülesannete täitmist. See oli suur valupunkt, kuna varasemad lahendused kasutasid sama tehnoloogiat.
- Skaleeritav arhitektuur – Konveierisse on võimalik lisada uusi võimalusi nõuete ilmnemisel, ilma teisi komponente ümber kujundamata.
Järeldus
OpenSearch Service'iga on NETSCOUT suutnud luua rünnakuandmete jaoks vastupidava andmesalve. Tehtud arhitektuuriliste valikute ja nende aluseks olevate AWS-teenuste tulemusena suudavad nad pakkuda oma andmetele nähtavust väikeste lisakuludega, võimaldades neil pakkuda lõppkasutajale tasuta ülemaailmset nähtavuse platvormi.
Suurima kogemuse, kõige usaldusväärsema, skaleeritavama ja turvalisema pilve ning kõige põhjalikuma teenuste ja lahenduste komplektiga AWS on parim koht andmete väärtuse avamiseks ja nende ülevaateks muutmiseks.
Autoritest
Hardik Modi on NETSCOUTi ohu- ja migratsioonitoodete AVP. Selles rollis jälgib ta meeskondi, kes vastutavad leevendustoodete ja NETSCOUTi toodete turvasisu loomise eest, võimaldades kasutajatele oma klassi parimat kaitset, samuti DDoS-i ja sissetungimise valdkonna mõjukate uuringute pidevat edastamist ja avaldamist. maastikud.
Sujatha Kuppuraju on Amazon Web Services (AWS) peamine lahenduste arhitekt. Ta suhtleb klientidega, et luua uuenduslikke lahendusi, mis lahendavad klientide äriprobleeme ja kiirendavad AWS-teenuste kasutuselevõttu.
Mike Arruda on New Englandi piirkonnas asuva AWS-i vanemtehniline kontohaldur. Ta töötab AWS Enterprise'i klientidega, toetades nende edu parimate tavade kasutuselevõtul ja aidates neil saavutada AWS-iga soovitud äritulemusi.
- SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
- Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
- Allikas: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 miljonit
- 10
- 100
- 2012
- 2019
- a
- Võimalik
- MEIST
- kiirendama
- juurdepääs
- konto
- Kontod
- Saavutada
- üle
- tegevus
- lisamine
- aadress
- vastu
- Vastuvõtmine
- Vastuvõtmine
- koondamine
- algoritme
- Materjal: BPA ja flataatide vaba plastik
- Lubades
- võimaldab
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- analüüs
- analytics
- analüüsides
- ja
- aastane
- keegi
- Apache
- taotlus
- umbes
- arhitektuuri-
- arhitektuur
- PIIRKOND
- atlas
- rünnak
- Reageerib
- AUGUST
- Autentimine
- auto
- saadaval
- teadlikkus
- AWS
- tagasi
- põhineb
- alus
- taga
- on
- Kasu
- BEST
- parimaid tavasid
- Suur
- Blogi
- Blogi postitused
- Murdma
- laiem
- ehitama
- ehitatud
- äri
- kutsutud
- võimeid
- lüüa
- väljakutseid
- valikuid
- Valisin
- valitud
- Cloud
- Cluster
- Kollektsioneerimine
- kogumine
- komponent
- komponendid
- terviklik
- märkimisväärne
- kaaluda
- järjepidev
- sisu
- pidev
- tuum
- Maksma
- kulud
- võiks
- looma
- loomine
- Praegune
- tava
- klient
- Kliendid
- kohandatud
- Küberturvalisus
- tsüklit
- andmed
- andmebaas
- DDoS
- DDoS rünnaku
- tarnima
- esitatud
- tarne
- Denial of Service
- Disain
- kujundusmustrid
- detailid
- arendaja
- arenev
- & Tarkvaraarendus
- Ekraan
- jagatud
- dokument
- domeen
- iga
- Elasticsearch
- elemendid
- võimaldama
- võimaldades
- Mootor
- Inglismaa
- ettevõte
- ettevõtte kliendid
- ettevõtete
- Eeter (ETH)
- kogemus
- silmitsi seisnud
- vähe
- Faile
- Järel
- vorm
- tasuta
- Alates
- funktsionaalsus
- Pealegi
- üldiselt
- saama
- antud
- Globaalne
- Ülemaailmselt
- Go
- Kasvab
- võttes
- aidates
- kõrgelt
- ajalooline
- silmapiir
- Lahtiolekuajad
- Kuidas
- HTTPS
- identifitseerima
- mõjuv
- parandab
- in
- tööstus
- info
- uuenduslik
- ülevaade
- Näiteks
- huvitatud
- Internet
- seotud
- küsimustes
- IT
- hoidma
- Võti
- maastik
- viima
- õppinud
- joon
- Partii
- Madal
- tehtud
- tegema
- juhtima
- juhitud
- juhtimine
- juht
- kaart
- kaardid
- mikroteenused
- võib
- miljon
- leevendamine
- järelevalve
- rohkem
- kõige
- emakeelena
- loodus
- võrk
- Uus
- teade
- teated
- number
- eesmärgid
- jälgima
- avatud lähtekoodiga
- tegutses
- et
- Korraldatud
- Muu
- Ületada
- enda
- Valu
- dokumendid
- eriline
- tee
- mustrid
- täitma
- inimene
- torujuhe
- Koht
- planeerimine
- inimesele
- Platon
- Platoni andmete intelligentsus
- PlatoData
- Punkt
- populaarne
- võimalik
- post
- Postitusi
- võim
- võimas
- Toide
- tavad
- eelmine
- Peamine
- probleeme
- protsess
- töötlemine
- Toode
- Toodet
- profiilid
- Programm
- projektid
- kaitse
- anda
- tarnija
- pakkujad
- pakkudes
- avaldamine
- reaalajas
- reaalajas andmeid
- saadud
- andmed
- piirkondades
- seotud
- usaldusväärne
- aru
- Aruandlus
- Aruanded
- esindatud
- esindavad
- Nõuded
- teadustöö
- vetruv
- vastutav
- tundlik
- kaasa
- tulemuseks
- Roll
- ligikaudu
- sama
- skaalautuvia
- ketendamine
- sekundit
- kindlustama
- turvalisus
- vanem
- andur
- September
- Seeria
- teenus
- teenusepakkujad
- Teenused
- komplekt
- Jaga
- märgatavalt
- lihtne
- lihtsalt
- alates
- suurused
- väike
- lahendus
- Lahendused
- mõned
- eriti
- alustatud
- Veel
- ladustamine
- salvestada
- edu
- KOKKUVÕTE
- Tarnijate
- Toetamine
- kohandatud
- ülesanded
- meeskond
- meeskonnad
- Tehniline
- Tehnoloogiad
- Tehnoloogia
- tingimused
- .
- oma
- oht
- Ohuaruanne
- Läbi
- aeg
- et
- Trends
- Pöörake
- aluseks
- mõistma
- avamine
- upgrade
- kasutama
- Kasutaja
- Kasutajad
- ära kasutama
- väärtus
- versioon
- vertikaalid
- kaudu
- nähtavus
- Külastajad
- visualiseerimine
- tagaotsitav
- Ladustamine
- web
- veebiteenused
- M
- Mis on
- mis
- kuigi
- WHO
- soove
- ilma
- töötab
- kirjutamine
- Sinu
- sephyrnet