Această postare a fost scrisă împreună cu Hardik Modi, AVP, Threat and Migitation Products la NETSCOUT.
Netscout Omnis Threat Horizon este o platformă globală de conștientizare a securității cibernetice care oferă utilizatorilor o vizibilitate extrem de contextualizată asupra activității amenințărilor „de peste orizont” din peisajul global DDoS (Distributed Denial of Service) – amenințări care le-ar putea afecta industria, clienții sau furnizorii lor. Permite vizitatorilor să creeze profiluri personalizate și să înțeleagă activitatea DDoS care este observată în timp aproape real prin platforma de vizibilitate ATLAS a NETSCOUT. Utilizatorii pot crea conturi gratuite pentru a crea profiluri personalizate care duc la o vizualizare bazată pe hărți (ca în următoarea captură de ecran), precum și la un rezumat personalizat. Atacurile DDoS pot avea impact asupra serviciilor furnizate prin internet. Vizibilitatea de această natură este esențială pentru oricine dorește să înțeleagă ce se întâmplă în peisajul amenințărilor. Omnis Threat Horizon este disponibil în general din august 2019.
Pentru a oferi vizibilitate continuă la un cost pe utilizator scăzut (pentru a activa un serviciu gratuit), echipa de dezvoltare NETSCOUT a ales o serie de tehnologii AWS pentru a alimenta colectarea, stocarea, analiza, depozitarea, autentificarea utilizatorilor și livrarea aplicației. În special, au ales Serviciul Amazon OpenSearch ca motor de analiză de bază. Ei stochează toate înregistrările de atac procesate în Serviciul OpenSearch.
Această postare discută provocările și modelele de proiectare folosite de NETSCOUT în calea sa pentru a reprezenta detaliile a aproximativ 10 milioane de atacuri anuale DDoS în timp aproape real.
Context
NETSCOUT, prin linia sa de produse Arbor, este un furnizor de lungă durată de soluții pentru vizibilitatea rețelei și atenuarea DDoS pentru furnizorii de servicii și întreprinderi. Din 2007, NETSCOUT operează un program numit ATLAS, în care clienții pot opta să partajeze date anonime despre atacurile DDoS pe care le observă în rețeaua lor. Pe măsură ce acest program sa maturizat, NETSCOUT are o vizibilitate cuprinzătoare asupra peisajului atacurilor DDoS – atât numărul cât și natura atacurilor. Această vizibilitate informează și îmbunătățește produsele lor, permițându-le să partajeze concluziile analizei sub formă de lucrări, postări pe blog și un raport semestrial al amenințărilor. De când NETSCOUT a început să colecteze și să analizeze date în forma actuală în septembrie 2012, au observat 96 de milioane de atacuri, permițându-le să efectueze o analiză considerabilă a tendințelor din regiuni și verticale, precum și să înțeleagă vectorii utilizați și dimensiunile atacurilor.
Omnis Threat Horizon este o soluție pentru a afișa aceste informații unui public mai larg - în esență oricine este interesat de peisajul amenințărilor și în special de tendințele atacurilor DDoS la un moment dat. Pe lângă furnizarea de hărți în timp real, soluția permite utilizatorului să se întoarcă în timp pentru a observa vizual sau sub formă de rezumat ceea ce s-ar fi putut întâmpla la un moment dat.
Au vrut să se asigure că elementele vizuale și aplicația sunt receptive la nivel global, atât în ceea ce privește reprezentarea datelor în timp real, cât și afișarea informațiilor istorice. Mai mult, au dorit să mențină costul incremental pe utilizator cât mai scăzut posibil, pentru a putea oferi acest serviciu gratuit la nivel global.
Prezentare generală a soluțiilor
Următoarea diagramă ilustrează arhitectura soluției.
Unul dintre obiectivele din spatele soluției alese a fost utilizarea serviciilor AWS native în toate cazurile posibile. Mai mult, ei au ales să împărtășească funcționalitatea componentelor în propriile microservicii și să utilizeze aceasta în mod constant prin soluție.
Senzorii de monitorizare individuali furnizează date către Serviciul Amazon de stocare simplă (Amazon S3) pe oră. Pe măsură ce se primesc noi înregistrări, Serviciul de notificare simplă Amazon Notificările (Amazon SNS) sunt livrate, având ca rezultat prelucrarea datelor. Microservicii succesive sunt responsabile pentru:
- Analizare
- Rularea algoritmilor pentru identificarea și separarea intrărilor false
- Deduplicarea
- Punctajul
- Încredere
După această procesare, fiecare atac este reprezentat ca un document separat în domeniul OpenSearch Service. În momentul scrierii acestei postări, NETSCOUT are aproximativ 96 de milioane de atacuri în cluster, toate putând fi reprezentate într-o anumită formă în hărțile și rapoartele din Omnis Threat Horizon.
Datele sunt organizate în fișiere bin orare și sunt transmise aplicației prin Amazon CloudFront.
Lecții învățate legate de Elasticsearch
În proiectele anterioare, NETSCOUT a încercat Apache Cassandra, o bază de date populară cu sursă deschisă NoSQL, și a considerat-o inadecvată pentru interogările de agregare. În timpul dezvoltării Horizon, au ales Elasticsearch pentru a avea acces la capabilități mai puternice de interogare de agregare, cu mult mai puțin timp de dezvoltator.
Au început cu o instanță autogestionată, dar s-au confruntat cu următoarele probleme:
- Cheltuieli considerabile de ore persoane pur și simplu pentru gestionarea infrastructurii
- Fiecare actualizare a versiunii a fost un proces implicat, care a necesitat multă planificare și încă ridică provocări tehnice pe parcurs
- Nicio scalare automată și interogări mari de agregare nu ar putea distruge Elasticsearch
După câteva cicluri de alimentare, s-au mutat la Serviciul OpenSearch pentru a depăși aceste provocări.
Rezultat
NETSCOUT a văzut următoarele beneficii din această arhitectură:
- Procesarea rapidă a datelor de atac – Timpul de la primirea datelor de atac până la momentul în care acestea sunt disponibile în depozitul de date este de ordinul secundelor, permițându-le să ofere vizibilitate aproape în timp real în soluție.
- Reduceți cheltuielile generale de management – Magazinul de date crește constant, iar prin utilizarea unui serviciu gestionat, echipele evită să fie nevoite să efectueze sarcini legate de managementul clusterului. Acesta a fost un mare punct de durere cu soluțiile anterioare adoptate care implică aceeași tehnologie.
- Arhitectură scalabilă – Este posibil să adăugați noi capabilități în conductă pe măsură ce apar cerințe, fără a rearhitecta alte componente.
Concluzie
Cu serviciul OpenSearch, NETSCOUT a reușit să construiască un depozit de date rezistent pentru datele de atac pe care le captează. Ca urmare a alegerilor arhitecturale făcute și a serviciilor AWS subiacente, aceștia sunt capabili să ofere vizibilitate asupra datelor lor la costuri incrementale mici, permițându-le să ofere o platformă de vizibilitate globală fără costuri pentru utilizatorul final.
Cu cea mai mare experiență, cel mai fiabil, scalabil și securizat cloud și cel mai cuprinzător set de servicii și soluții, AWS este cel mai bun loc pentru a debloca valoare din datele dvs. și pentru a o transforma în perspectivă.
Despre Autori
Hardik Modi este AVP, Threat and Migitation Products la NETSCOUT. În acest rol, el supraveghează echipele responsabile pentru produsele de atenuare, precum și crearea de conținut de securitate pentru produsele NETSCOUT, permițând cea mai bună protecție din clasă pentru utilizatori, precum și livrarea și publicarea continuă a cercetărilor de impact în cadrul DDoS și Intrusion. peisaje.
Sujatha Kuppuraju este arhitect principal de soluții la Amazon Web Services (AWS). Ea se angajează cu clienții pentru a crea soluții inovatoare care abordează problemele de afaceri ale clienților și accelerează adoptarea serviciilor AWS.
Mike Arruda este Senior Technical Account Manager la AWS, cu sediul în zona New England. Lucrează cu clienții AWS Enterprise, susținându-le succesul în adoptarea celor mai bune practici și ajutându-i să obțină rezultatele dorite de afaceri cu AWS.
- Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
- Platoblockchain. Web3 Metaverse Intelligence. Cunoștințe amplificate. Accesați Aici.
- Sursa: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 de milioane de
- 10
- 100
- 2012
- 2019
- a
- Capabil
- Despre Noi
- accelera
- acces
- Cont
- Conturi
- Obține
- peste
- activitate
- plus
- adresa
- adoptată
- Adoptarea
- Adoptare
- agregare
- algoritmi
- TOATE
- Permiterea
- permite
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- analiză
- Google Analytics
- analiza
- și
- anual
- oricine
- Apache
- aplicație
- aproximativ
- arhitectural
- arhitectură
- ZONĂ
- atlas
- ataca
- Atacuri
- August
- Autentificare
- Auto
- disponibil
- gradului de conştientizare
- AWS
- înapoi
- bazat
- bază
- în spatele
- fiind
- Beneficiile
- CEL MAI BUN
- Cele mai bune practici
- Mare
- Blog
- Blog
- Pauză
- mai larg
- construi
- construit
- afaceri
- denumit
- capacități
- captura
- provocări
- alegeri
- a ales
- ales
- Cloud
- Grup
- Colectare
- colectare
- component
- componente
- cuprinzător
- considerabil
- luate în considerare
- consistent
- conţinut
- continuu
- Nucleu
- A costat
- Cheltuieli
- ar putea
- crea
- creaţie
- Curent
- personalizat
- client
- clienţii care
- personalizate
- Securitate cibernetică
- cicluri
- de date
- Baza de date
- DDoS
- DDoS atac
- livra
- livrate
- livrare
- Denial of Service
- Amenajări
- modele de design
- detalii
- Dezvoltator
- în curs de dezvoltare
- Dezvoltare
- Afişa
- distribuite
- document
- domeniu
- fiecare
- Elasticsearch
- element
- permite
- permițând
- Motor
- Anglia
- Afacere
- clienții întreprinderii
- Companii
- Eter (ETH)
- experienţă
- cu care se confruntă
- puțini
- Fişiere
- următor
- formă
- Gratuit
- din
- funcționalitate
- În plus
- în general
- obține
- dat
- Caritate
- La nivel global
- Go
- creste
- având în
- ajutor
- extrem de
- istoric
- orizont
- ORE
- Cum
- HTTPS
- identifica
- impactant
- îmbunătăţeşte
- in
- industrie
- informații
- inovatoare
- înţelegere
- instanță
- interesat
- Internet
- implicat
- probleme de
- IT
- A pastra
- Cheie
- peisaj
- conduce
- învățat
- Linie
- Lot
- Jos
- făcut
- face
- administra
- gestionate
- administrare
- manager
- Hartă
- Harta
- microservices
- ar putea
- milion
- atenuare
- Monitorizarea
- mai mult
- cele mai multe
- nativ
- Natură
- reţea
- Nou
- notificare
- notificări
- număr
- Obiectivele
- observa
- open-source
- operat
- comandă
- Organizat
- Altele
- Învinge
- propriu
- Durere
- lucrări
- special
- cale
- modele
- efectua
- persoană
- conducte
- Loc
- planificare
- platformă
- Plato
- Informații despre date Platon
- PlatoData
- Punct
- Popular
- posibil
- Post
- postări
- putere
- puternic
- Alimentarea
- practicile
- precedent
- Principal
- probleme
- proces
- prelucrare
- Produs
- Produse
- Profiluri
- Program
- Proiecte
- protecţie
- furniza
- furnizorul
- furnizori
- furnizarea
- Publicare
- în timp real
- date în timp real
- primit
- înregistrări
- regiuni
- legate de
- de încredere
- raportează
- Raportarea
- Rapoarte
- reprezentate
- reprezentând
- Cerinţe
- cercetare
- elastic
- responsabil
- sensibil
- rezultat
- rezultând
- Rol
- aproximativ
- acelaşi
- scalabil
- scalare
- secunde
- sigur
- securitate
- senior
- senzori
- Septembrie
- serie
- serviciu
- prestatori de servicii
- Servicii
- set
- Distribuie
- semnificativ
- simplu
- pur şi simplu
- întrucât
- dimensiuni
- mic
- soluţie
- soluţii
- unele
- specific
- început
- Încă
- depozitare
- stoca
- succes
- REZUMAT
- furnizori
- De sprijin
- adaptate
- sarcini
- echipă
- echipe
- Tehnic
- Tehnologii
- Tehnologia
- termeni
- lor
- amenințare
- Raportul de amenințare
- Prin
- timp
- la
- Tendinţe
- ÎNTORCĂ
- care stau la baza
- înţelege
- deschide
- upgrade-ul
- utilizare
- Utilizator
- utilizatorii
- folosi
- valoare
- versiune
- verticalele
- de
- vizibilitate
- vizitatori
- vizualizare
- dorit
- depozitare
- web
- servicii web
- Ce
- Ce este
- care
- în timp ce
- OMS
- dorește
- fără
- fabrică
- scris
- Ta
- zephyrnet