Ezt a bejegyzést Hardik Modival, a NETSCOUT fenyegetés- és migrációs termékekért felelős AVP-vel közösen írták.
NETSCOUT Omnis Threat Horizon egy globális kiberbiztonsági figyelemfelkeltő platform, amely nagymértékben kontextusba helyezi a felhasználók számára a „horizonton túli” fenyegetési tevékenységet a globális DDoS (Distributed Denial of Service) környezetben – olyan fenyegetéseket, amelyek hatással lehetnek iparágukra, ügyfeleikre vagy beszállítóikra. Lehetővé teszi a látogatók számára, hogy egyéni profilokat hozzanak létre, és megértsék a DDoS-tevékenységet, amelyet közel valós időben figyelnek meg a NETSCOUT ATLAS láthatósági platformján keresztül. A felhasználók ingyenes fiókokat hozhatnak létre testreszabott profilok létrehozásához, amelyek térképalapú megjelenítéshez vezetnek (mint a következő képernyőképen), valamint személyre szabott összefoglaló jelentéseket készítenek. A DDoS támadások hatással lehetnek az interneten keresztül nyújtott szolgáltatásokra. Az ilyen jellegű láthatóság kulcsfontosságú mindenki számára, aki meg akarja érteni, mi történik a fenyegetett tájon. Az Omnis Threat Horizon 2019 augusztusa óta általánosan elérhető.
A folyamatos láthatóság alacsony felhasználónkénti költség melletti biztosítása érdekében (az ingyenes szolgáltatás lehetővé tétele érdekében) a NETSCOUT fejlesztőcsapata egy sor AWS-technológiát választott az alkalmazás gyűjtésének, tárolásának, elemzésének, raktározásának, felhasználói hitelesítésének és szállításának biztosítására. Különösen ők választottak Amazon OpenSearch szolgáltatás mint az alapvető elemző motor. Az OpenSearch szolgáltatásban tárolják az összes feldolgozott támadási rekordot.
Ez a bejegyzés azokat a kihívásokat és tervezési mintákat taglalja, amelyeket a NETSCOUT használt a nagyjából 10 millió éves DDoS-támadás részleteinek közel valós időben történő bemutatása felé.
Háttér
A NETSCOUT az Arbor termékcsaládon keresztül régóta kínál megoldásokat a hálózat láthatóságára és a DDoS mérséklésére a szolgáltatók és a vállalkozások számára. A NETSCOUT 2007 óta működteti az ATLAS nevű programot, amelyben az ügyfelek választhatnak, hogy névtelen adatokat osztanak meg a hálózatukon megfigyelt DDoS-támadásokról. Ahogy ez a program kifejlődött, a NETSCOUT átfogó rálátással rendelkezik a DDoS támadási környezetre – mind a támadások számára, mind jellegére. Ez a láthatóság tájékoztatja és javítja termékeiket, lehetővé téve számukra, hogy megosszák elemzési eredményeiket papírok, blogbejegyzések és félévente készülő fenyegetésjelentések formájában. Amióta a NETSCOUT 2012 szeptemberében megkezdte az adatok gyűjtését és elemzését jelenlegi formájában, 96 millió támadást figyeltek meg, ami lehetővé tette számukra, hogy jelentős elemzéseket végezzenek a régiók és vertikumok közötti trendekről, valamint megértsék a használt vektorokat és a támadások méretét.
Az Omnis Threat Horizon egy megoldás arra, hogy szélesebb közönség számára jelenítse meg ezeket az információkat – alapvetően mindenkit, akit érdekel a fenyegetettség, és konkrétan a DDoS támadási trendek adott időpontban. A valós idejű térképezés mellett a megoldás lehetővé teszi, hogy a felhasználó visszamenjen az időben, hogy vizuálisan vagy összefoglaló formában megfigyelje, mi történhetett egy adott időpontban.
Gondoskodni akartak arról, hogy a vizuális elemek és az alkalmazás globálisan érzékeny legyen, mind a valós idejű adatok megjelenítése, mind a történelmi információk megjelenítése tekintetében. Ezenkívül a felhasználónkénti többletköltséget a lehető legalacsonyabb szinten akarták tartani, hogy ezt a szolgáltatást világszerte ingyenesen biztosíthassák.
Megoldás áttekintése
A következő ábra a megoldás architektúráját mutatja be.
A választott megoldás mögött az egyik cél az volt, hogy minden lehetséges esetben natív AWS szolgáltatásokat használjon. Továbbá úgy döntöttek, hogy a komponensek funkcionalitását saját mikroszolgáltatásaikra bontják, és ezt következetesen használják ki a megoldáson keresztül.
Egyedi felügyeleti érzékelők továbbítják az adatokat Amazon egyszerű tárolási szolgáltatás (Amazon S3) órabérben. Amint új bejegyzések érkeznek, Amazon Simple Notification Service (Amazon SNS) értesítéseket kézbesítenek, ami az adatok feldolgozását eredményezi. Az egymást követő mikroszolgáltatások a következőkért felelősek:
- nyelvtani elemzés
- Algoritmusok futtatása a hamis bejegyzések azonosítására és elkülönítésére
- Deduplikáció
- Pontozása
- Bizalom
A feldolgozás után minden támadás külön dokumentumként jelenik meg az OpenSearch Service tartományában. A bejegyzés írásakor a NETSCOUT körülbelül 96 millió támadást tartalmaz a fürtben, amelyek mindegyike valamilyen formában megjeleníthető az Omnis Threat Horizon térképein és jelentéseiben.
Az adatok óránkénti tárolófájlokba vannak rendezve, és ezen keresztül kerülnek az alkalmazásba Amazon CloudFront.
Az Elasticsearch kapcsán levont tanulságok
A korábbi projektekben a NETSCOUT kipróbálta az Apache Cassandra-t, egy népszerű NoSQL nyílt forráskódú adatbázist, és úgy ítélte meg, hogy nem megfelelő az összesítő lekérdezésekhez. A Horizon fejlesztése során az Elasticsearch alkalmazást választották, hogy lényegesen kevesebb fejlesztői idővel nagyobb teljesítményű összesítő lekérdezési lehetőségekhez férhessenek hozzá.
Egy önállóan kezelt példányból indultak, de a következő problémákkal szembesültek:
- Jelentős munkaórák ráfordítása csupán az infrastruktúra kezeléséhez
- Minden verziófrissítés egy magába foglaló folyamat volt, amely sok tervezést igényelt, és még mindig technikai kihívásokat jelent az út során
- Az automatikus skálázás és a nagy összesítési lekérdezések nem törhetik meg az Elasticsearch-et
Néhány ciklus után áttértek az OpenSearch Service-re, hogy leküzdjék ezeket a kihívásokat.
Eredmény
A NETSCOUT a következő előnyöket látta ennek az architektúrának:
- A támadási adatok gyors feldolgozása – A támadási adatok beérkezésétől az adattárban való elérhetőségig másodpercek nagyságrendűek az idő, ami lehetővé teszi, hogy közel valós idejű láthatóságot biztosítsanak a megoldásban.
- Alacsonyabb menedzsment rezsi – Az adattár folyamatosan növekszik, és egy felügyelt szolgáltatás használatával a csapatoknak elkerülhető, hogy fürtkezeléssel kapcsolatos feladatokat hajtsanak végre. Ez nagy fájdalmat jelentett a korábbi megoldások esetében, amelyek ugyanazt a technológiát alkalmazták.
- Méretezhető architektúra – Lehetőség van új képességekkel bővíteni a folyamatot, ahogy a követelmények megjelennek, anélkül, hogy más összetevőket újraterveznénk.
Következtetés
Az OpenSearch szolgáltatással a NETSCOUT rugalmas adattárat tudott felépíteni az általa rögzített támadási adatok számára. A meghozott építészeti döntéseknek és az alapul szolgáló AWS-szolgáltatásoknak köszönhetően kis járulékos költségek mellett képesek láthatóvá tenni adataikat, lehetővé téve számukra, hogy a végfelhasználó számára költségmentesen globális láthatósági platformot biztosítsanak.
A legtöbb tapasztalattal, legmegbízhatóbb, leginkább méretezhető és biztonságos felhővel, valamint a szolgáltatások és megoldások legátfogóbb készletével az AWS a legjobb hely arra, hogy értéket szabadítson fel adataiból, és betekintést nyerjen belőle.
A szerzőkről
Hardik Modi a NETSCOUT fenyegetés- és migrációs termékeinek AVP-je. Ebben a szerepkörben felügyeli a mérséklő termékekért felelős csapatokat, valamint a NETSCOUT-termékek biztonsági tartalmának létrehozását, amely lehetővé teszi a felhasználók számára a kategória legjobb védelmét, valamint a hatékony kutatások folyamatos szállítását és közzétételét a DDoS és az Intrusion területén. tájak.
Sujatha Kuppuraju az Amazon Web Services (AWS) fő megoldási építésze. Ügyfeleivel együttműködve olyan innovatív megoldásokat hoz létre, amelyek kezelik az ügyfelek üzleti problémáit, és felgyorsítják az AWS-szolgáltatások alkalmazását.
Mike Arruda Senior Technical Account Manager az AWS-nél, New England térségében. Az AWS Enterprise ügyfeleivel dolgozik, támogatja a bevált gyakorlatok átvételében elért sikereiket, és segít nekik elérni a kívánt üzleti eredményeket az AWS segítségével.
- SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
- Platoblockchain. Web3 metaverzum intelligencia. Felerősített tudás. Hozzáférés itt.
- Forrás: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- 10 millió $
- 10
- 100
- 2012
- 2019
- a
- Képes
- Rólunk
- gyorsul
- hozzáférés
- Fiók
- Fiókok
- Elérése
- át
- tevékenység
- mellett
- cím
- fogadott
- Elfogadása
- Örökbefogadás
- összesítés
- algoritmusok
- Minden termék
- lehetővé téve
- lehetővé teszi, hogy
- amazon
- Az Amazon Web Services
- Amazon Web Services (AWS)
- elemzés
- analitika
- elemzése
- és a
- évi
- bárki
- Apache
- Alkalmazás
- körülbelül
- építészeti
- építészet
- TERÜLET
- atlasz
- támadás
- Támadások
- Augusztus
- Hitelesítés
- auto
- elérhető
- tudatosság
- AWS
- vissza
- alapján
- alap
- mögött
- hogy
- Előnyök
- BEST
- legjobb gyakorlatok
- Nagy
- Blog
- Blogbejegyzések
- szünet
- tágabb
- épít
- épült
- üzleti
- hívott
- képességek
- elfog
- kihívások
- választás
- választotta
- választott
- felhő
- Fürt
- Gyűjtő
- gyűjtemény
- összetevő
- alkatrészek
- átfogó
- tekintélyes
- figyelembe vett
- következetes
- tartalom
- folyamatos
- Mag
- Költség
- kiadások
- tudott
- teremt
- teremtés
- Jelenlegi
- szokás
- vevő
- Ügyfelek
- szabott
- Kiberbiztonság
- ciklusok
- dátum
- adatbázis
- DDoS
- DDoS támadás
- szállít
- szállított
- kézbesítés
- Denial of Service
- Design
- tervezési minták
- részletek
- Fejlesztő
- fejlesztése
- Fejlesztés
- kijelző
- megosztott
- dokumentum
- domain
- minden
- Elasticsearch
- elemek
- lehetővé
- lehetővé téve
- Motor
- Anglia
- Vállalkozás
- vállalati ügyfelek
- Vállalatok
- Eter (ETH)
- tapasztalat
- szembe
- kevés
- Fájlok
- következő
- forma
- Ingyenes
- ból ből
- funkcionalitás
- Továbbá
- általában
- kap
- adott
- Globális
- globálisan
- Go
- növekszik
- tekintettel
- segít
- nagyon
- történeti
- horizont
- NYITVATARTÁS
- Hogyan
- HTTPS
- azonosítani
- hatásos
- javítja
- in
- ipar
- információ
- újító
- Insight
- példa
- érdekelt
- Internet
- részt
- kérdések
- IT
- Tart
- Kulcs
- táj
- vezet
- tanult
- vonal
- Sok
- Elő/Utó
- készült
- csinál
- kezelése
- sikerült
- vezetés
- menedzser
- térkép
- Térképek
- microservices
- esetleg
- millió
- enyhítés
- ellenőrzés
- több
- a legtöbb
- bennszülött
- Természet
- hálózat
- Új
- bejelentés
- értesítések
- szám
- célok
- megfigyelni
- nyílt forráskódú
- hajtású
- érdekében
- Szervezett
- Más
- Overcome
- saját
- Fájdalom
- papírok
- különös
- ösvény
- minták
- teljesít
- person
- csővezeték
- Hely
- tervezés
- emelvény
- Plató
- Platón adatintelligencia
- PlatoData
- pont
- Népszerű
- lehetséges
- állás
- Hozzászólások
- hatalom
- erős
- Bekapcsolom
- gyakorlat
- előző
- Fő
- problémák
- folyamat
- feldolgozás
- Termékek
- Termékek
- Profilok
- Program
- projektek
- védelem
- ad
- ellátó
- szolgáltatók
- amely
- A megjelenés
- real-time
- valós idejű adatok
- kapott
- nyilvántartások
- régiók
- összefüggő
- megbízható
- jelentést
- Jelentő
- Jelentések
- képviselők
- képviselő
- követelmények
- kutatás
- rugalmas
- felelős
- fogékony
- eredményez
- kapott
- Szerep
- nagyjából
- azonos
- skálázható
- skálázás
- másodperc
- biztonság
- biztonság
- idősebb
- érzékelők
- szeptember
- Series of
- szolgáltatás
- szolgáltatók
- Szolgáltatások
- készlet
- Megosztás
- jelentősen
- Egyszerű
- egyszerűen
- óta
- méretek
- kicsi
- megoldások
- Megoldások
- néhány
- kifejezetten
- kezdődött
- Még mindig
- tárolás
- tárolni
- siker
- ÖSSZEFOGLALÓ
- szállítók
- Támogató
- szabott
- feladatok
- csapat
- csapat
- Műszaki
- Technologies
- Technológia
- feltételek
- A
- azok
- fenyegetés
- Fenyegetés jelentés
- Keresztül
- idő
- nak nek
- Trends
- FORDULAT
- mögöttes
- megért
- kinyit
- frissítés
- használ
- használó
- Felhasználók
- hasznosít
- érték
- változat
- függőlegesek
- keresztül
- láthatóság
- látogató
- megjelenítés
- kívánatos
- Raktározás
- háló
- webes szolgáltatások
- Mit
- Mi
- ami
- míg
- WHO
- kívánságait
- nélkül
- művek
- írás
- A te
- zephyrnet