Ta objava je bila napisana skupaj s Hardikom Modijem, AVP, Threat and Migitation Products pri NETSCOUT.
NETSCOUT Omnis Threat Horizon je globalna platforma za ozaveščanje o kibernetski varnosti, ki uporabnikom zagotavlja visoko kontekstualiziran vpogled v dejavnosti groženj »čez obzorje« na globalnem področju DDoS (Distributed Denial of Service) – grožnje, ki bi lahko vplivale na njihovo industrijo, njihove stranke ali njihove dobavitelje. Obiskovalcem omogoča ustvarjanje profilov po meri in razumevanje dejavnosti DDoS, ki se opazuje v skoraj realnem času prek platforme za vidnost ATLAS NETSCOUT. Uporabniki lahko ustvarijo brezplačne račune za ustvarjanje prilagojenih profilov, ki vodijo do vizualizacije na podlagi zemljevida (kot na naslednjem posnetku zaslona), kot tudi do prilagojenega povzetka poročanja. Napadi DDoS lahko vplivajo na storitve, ki se izvajajo prek interneta. Vidnost te narave je ključna za vsakogar, ki želi razumeti, kaj se dogaja na območju groženj. Omnis Threat Horizon je splošno na voljo od avgusta 2019.
Da bi zagotovili neprekinjeno vidljivost po nizkih stroških na uporabnika (za omogočanje brezplačne storitve), je razvojna ekipa NETSCOUT izbrala vrsto tehnologij AWS za napajanje zbiranja, shranjevanja, analize, skladiščenja, avtentikacije uporabnikov in dostave aplikacije. Še posebej so izbrali Storitev Amazon OpenSearch kot osrednji analitični motor. Shranjujejo vse obdelane zapise napadov v storitvi OpenSearch.
Ta objava razpravlja o izzivih in oblikovalskih vzorcih, ki jih je NETSCOUT uporabil na svoji poti do predstavitve podrobnosti približno 10 milijonov letnih napadov DDoS v skoraj realnem času.
Ozadje
NETSCOUT je prek svoje linije izdelkov Arbor dolgoletni ponudnik rešitev za vidnost omrežja in ublažitev DDoS za ponudnike storitev in podjetja. Od leta 2007 NETSCOUT upravlja program, imenovan ATLAS, v katerem se lahko stranke odločijo za deljenje anonimiziranih podatkov o napadih DDoS, ki jih opazujejo v svojem omrežju. Ko je ta program dozorel, ima NETSCOUT celovit vpogled v pokrajino napadov DDoS – tako glede števila kot narave napadov. Ta prepoznavnost informira in izboljšuje njihove izdelke, kar jim omogoča, da delijo ugotovitve analize v obliki dokumentov, objav v spletnih dnevnikih in polletnega poročila o grožnjah. Odkar je NETSCOUT septembra 2012 začel zbirati in analizirati podatke v trenutni obliki, so opazili 96 milijonov napadov, kar jim je omogočilo izvedbo precejšnje analize trendov po regijah in vertikalah ter razumevanje uporabljenih vektorjev in velikosti napadov.
Omnis Threat Horizon je rešitev za prikaz teh informacij širšemu občinstvu – v bistvu vsakomur, ki ga zanima pokrajina groženj in posebej trendi napadov DDoS v danem trenutku. Poleg zagotavljanja zemljevidov v realnem času rešitev uporabniku omogoča, da se vrne v preteklost in vizualno ali v obliki povzetka opazuje, kaj se je morda dogajalo v danem trenutku.
Želeli so zagotoviti, da so vizualni elementi in aplikacija globalno odzivni, tako v smislu predstavljanja podatkov v realnem času kot tudi prikazovanja zgodovinskih informacij. Poleg tega so želeli obdržati prirastne stroške na uporabnika čim nižje, da bi lahko to storitev zagotavljali brezplačno po vsem svetu.
Pregled rešitev
Naslednji diagram prikazuje arhitekturo rešitev.
Eden od ciljev izbrane rešitve je bila uporaba domačih storitev AWS v vseh možnih primerih. Poleg tega so se odločili razdeliti funkcionalnost komponent v lastne mikrostoritve in to dosledno uporabljati prek rešitve.
Posamezni nadzorni senzorji dostavljajo podatke Preprosta storitev shranjevanja Amazon (Amazon S3) na urni osnovi. Ko so prejeti novi vnosi, Amazon Simple notification Service (Amazon SNS) so dostavljena obvestila, kar ima za posledico obdelavo podatkov. Zaporedne mikrostoritve so odgovorne za:
- Razčlenitev
- Izvajanje algoritmov za prepoznavanje in ločevanje lažnih vnosov
- Deduplikacija
- Točkovanje
- Zaupanje
Po tej obdelavi je vsak napad predstavljen kot ločen dokument v domeni OpenSearch Service. V času pisanja te objave ima NETSCOUT približno 96 milijonov napadov v gruči, vse pa je mogoče v neki obliki predstaviti na zemljevidih in poročilih v Omnis Threat Horizon.
Podatki so organizirani v urnih bin datotekah in dostavljeni aplikaciji prek Amazon CloudFront.
Pridobljena spoznanja v zvezi z Elasticsearch
V prejšnjih projektih je NETSCOUT preizkusil Apache Cassandra, priljubljeno odprtokodno zbirko podatkov NoSQL, in menil, da je neustrezna za poizvedbe združevanja. Med razvojem Horizona so izbrali Elasticsearch, da bi dobili dostop do zmogljivejših zmožnosti združevanja poizvedb z bistveno manj časa razvijalca.
Začeli so s primerkom, ki ga sami upravljajo, vendar so se soočili z naslednjimi težavami:
- Znatna poraba delovnih ur zgolj za upravljanje infrastrukture
- Vsaka nadgradnja različice je bila zapleten proces, ki je zahteval veliko načrtovanja in še vedno predstavljal tehnične izzive na poti
- Nobeno samodejno skaliranje in velike agregacijske poizvedbe ne morejo pokvariti Elasticsearch
Po nekaj ciklih preizkušanja tega so se preselili na storitev OpenSearch, da bi premagali te izzive.
Rezultat
NETSCOUT je videl naslednje prednosti te arhitekture:
- Hitra obdelava podatkov o napadu – Čas od trenutka, ko so podatki o napadu prejeti, do trenutka, ko so na voljo v shrambi podatkov, je reda sekund, kar jim omogoča, da zagotovijo vidnost rešitve v skoraj realnem času.
- Manjši stroški upravljanja – Podatkovna shramba dosledno raste in z uporabo upravljane storitve se ekipam izogne opravljanju nalog, povezanih z upravljanjem gruče. To je bila velika težava s prejšnjimi rešitvami, ki so vključevale isto tehnologijo.
- Prilagodljiva arhitektura – Možno je dodati nove zmožnosti v cevovod, ko se pojavijo zahteve, brez preoblikovanja drugih komponent.
zaključek
S storitvijo OpenSearch je NETSCOUT lahko zgradil odporno shrambo podatkov za podatke napadov, ki jih zajamejo. Zaradi sprejetih arhitekturnih odločitev in osnovnih storitev AWS lahko zagotovijo preglednost svojih podatkov z majhnimi inkrementalnimi stroški, kar jim omogoča, da končnemu uporabniku brezplačno zagotovijo globalno platformo prepoznavnosti.
Z največ izkušnjami, najbolj zanesljivim, razširljivim in varnim oblakom ter najobsežnejšim naborom storitev in rešitev je AWS najboljše mesto za odklepanje vrednosti vaših podatkov in njihovo spreminjanje v vpogled.
O avtorjih
Hardik Modi je AVP, Threat and Migitation Products pri NETSCOUT. V tej vlogi nadzoruje ekipe, ki so odgovorne za izdelke za ublažitev, kot tudi ustvarjanje varnostne vsebine za izdelke NETSCOUT, kar omogoča najboljšo zaščito v razredu za uporabnike, kot tudi neprekinjeno dostavo in objavo vplivnih raziskav o DDoS in vdorih. pokrajine.
Sujatha Kuppuraju je glavni arhitekt rešitev pri Amazon Web Services (AWS). S strankami sodeluje pri ustvarjanju inovativnih rešitev, ki obravnavajo poslovne težave strank in pospešujejo sprejemanje storitev AWS.
Mike Arruda je višji tehnični vodja računa pri AWS s sedežem na območju Nove Anglije. Sodeluje s strankami AWS Enterprise, podpira njihov uspeh pri sprejemanju najboljših praks in jim pomaga doseči želene poslovne rezultate z AWS.
- Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
- Platoblockchain. Web3 Metaverse Intelligence. Razširjeno znanje. Dostopite tukaj.
- vir: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 milijonov
- 10
- 100
- 2012
- 2019
- a
- Sposobna
- O meni
- pospeši
- dostop
- Račun
- računi
- Doseči
- čez
- dejavnost
- Poleg tega
- Naslov
- sprejet
- Sprejem
- Sprejetje
- združevanje
- algoritmi
- vsi
- Dovoli
- omogoča
- Amazon
- Amazon Web Services
- Amazonske spletne storitve (AWS)
- Analiza
- analitika
- analiziranje
- in
- letno
- kdo
- Apache
- uporaba
- približno
- architectural
- Arhitektura
- OBMOČJE
- atlas
- napad
- Napadi
- Avgust
- Preverjanje pristnosti
- avto
- Na voljo
- zavest
- AWS
- nazaj
- temeljijo
- Osnova
- zadaj
- počutje
- Prednosti
- BEST
- najboljše prakse
- Big
- Blog
- Blog Prispevkov
- Break
- širši
- izgradnjo
- zgrajena
- poslovni
- se imenuje
- Zmogljivosti
- zajemanje
- izzivi
- možnosti
- izbral
- izbran
- Cloud
- Grozd
- Zbiranje
- zbirka
- komponenta
- deli
- celovito
- velika
- šteje
- dosledno
- vsebina
- neprekinjeno
- Core
- strošek
- stroški
- bi
- ustvarjajo
- Oblikovanje
- Trenutna
- po meri
- stranka
- Stranke, ki so
- meri
- Cybersecurity
- ciklov
- datum
- Baze podatkov
- DDoS
- DDoS napad
- poda
- dostavi
- dostava
- Denial of Service
- Oblikovanje
- oblikovalski vzorci
- Podrobnosti
- Razvojni
- razvoju
- Razvoj
- zaslon
- porazdeljena
- dokument
- domena
- vsak
- Elastično iskanje
- elementi
- omogočajo
- omogočanje
- Motor
- Anglija
- Podjetje
- podjetniške stranke
- podjetja
- Eter (ETH)
- izkušnje
- soočen
- Nekaj
- datoteke
- po
- obrazec
- brezplačno
- iz
- funkcionalnost
- Poleg tega
- splošno
- dobili
- dana
- Globalno
- Globalno
- Go
- raste
- ob
- pomoč
- zelo
- zgodovinski
- obzorje
- URE
- Kako
- HTTPS
- identificirati
- vplivno
- izboljšuje
- in
- Industrija
- Podatki
- inovativne
- vpogled
- primer
- zainteresirani
- Internet
- vključeni
- Vprašanja
- IT
- Imejte
- Ključne
- Pokrajina
- vodi
- naučili
- vrstica
- Sklop
- nizka
- je
- Znamka
- upravljanje
- upravlja
- upravljanje
- upravitelj
- map
- Zemljevidi
- mikro storitve
- morda
- milijonov
- ublažitev
- spremljanje
- več
- Najbolj
- materni
- Narava
- mreža
- Novo
- Obvestilo
- Obvestila
- Številka
- Cilji
- opazujejo
- open source
- upravlja
- Da
- Organizirano
- Ostalo
- Premagajte
- lastne
- bolečina
- članki
- zlasti
- pot
- vzorci
- opravlja
- oseba
- plinovod
- Kraj
- načrtovanje
- platforma
- platon
- Platonova podatkovna inteligenca
- PlatoData
- Točka
- Popular
- mogoče
- Prispevek
- Prispevkov
- moč
- močan
- Napajanje
- vaje
- prejšnja
- , ravnateljica
- Težave
- Postopek
- obravnavati
- Izdelek
- Izdelki
- Profili
- Program
- projekti
- zaščita
- zagotavljajo
- Ponudnik
- ponudniki
- zagotavljanje
- Objava
- v realnem času
- podatki v realnem času
- prejetih
- evidence
- regije
- povezane
- zanesljiv
- poročilo
- Poročanje
- Poročila
- zastopan
- predstavlja
- Zahteve
- Raziskave
- odporno
- odgovorna
- odziven
- povzroči
- rezultat
- vloga
- grobo
- Enako
- razširljive
- skaliranje
- sekund
- zavarovanje
- varnost
- višji
- senzorji
- september
- Serija
- Storitev
- ponudnikov storitev
- Storitve
- nastavite
- Delite s prijatelji, znanci, družino in partnerji :-)
- bistveno
- Enostavno
- preprosto
- saj
- velikosti
- majhna
- Rešitev
- rešitve
- nekaj
- posebej
- začel
- Še vedno
- shranjevanje
- trgovina
- uspeh
- POVZETEK
- dobavitelji
- Podpora
- prilagojene
- Naloge
- skupina
- Skupine
- tehnični
- Tehnologije
- Tehnologija
- Pogoji
- O
- njihove
- Grožnja
- Poročilo o grožnji
- skozi
- čas
- do
- Trends
- OBRAT
- osnovni
- razumeli
- odklepanje
- nadgradnja
- uporaba
- uporabnik
- Uporabniki
- uporabiti
- vrednost
- različica
- vertikale
- preko
- vidljivost
- Obiskovalci
- vizualizacija
- hotel
- skladiščenje
- web
- spletne storitve
- Kaj
- Kaj je
- ki
- medtem
- WHO
- želje
- brez
- deluje
- pisanje
- Vaša rutina za
- zefirnet