Questo post è stato scritto in collaborazione con Hardik Modi, AVP, Threat and Migitation Products di NETSCOUT.
NETSCOUT Omnis Minaccia Orizzonte è una piattaforma globale di consapevolezza della sicurezza informatica che fornisce agli utenti una visibilità altamente contestualizzata sull'attività delle minacce "oltre l'orizzonte" nel panorama globale DDoS (Distributed Denial of Service), minacce che potrebbero avere un impatto sul loro settore, sui loro clienti o sui loro fornitori. Consente ai visitatori di creare profili personalizzati e comprendere l'attività DDoS osservata quasi in tempo reale attraverso la piattaforma di visibilità ATLAS di NETSCOUT. Gli utenti possono creare account gratuiti per creare profili personalizzati che portano a una visualizzazione basata su mappa (come nello screenshot seguente) e a report di riepilogo personalizzati. Gli attacchi DDoS possono avere un impatto sui servizi forniti su Internet. Una visibilità di questa natura è fondamentale per chiunque desideri capire cosa sta accadendo nel panorama delle minacce. Omnis Threat Horizon è generalmente disponibile da agosto 2019.
Per fornire una visibilità continua a un basso costo per utente (per abilitare un servizio gratuito), il team di sviluppo di NETSCOUT ha scelto una serie di tecnologie AWS per potenziare la raccolta, l'archiviazione, l'analisi, il warehousing, l'autenticazione dell'utente e la consegna dell'applicazione. In particolare, hanno scelto Servizio Amazon OpenSearch come motore di analisi principale. Memorizzano tutti i record di attacco elaborati in OpenSearch Service.
Questo post discute le sfide e i modelli di progettazione utilizzati da NETSCOUT nel suo percorso per rappresentare i dettagli di circa 10 milioni di attacchi DDoS annuali quasi in tempo reale.
sfondo
NETSCOUT, attraverso la sua linea di prodotti Arbor, è un fornitore di lunga data di soluzioni per la visibilità della rete e la mitigazione degli attacchi DDoS per fornitori di servizi e aziende. Dal 2007, NETSCOUT ha gestito un programma chiamato ATLAS, in cui i clienti possono scegliere di condividere dati anonimi sugli attacchi DDoS che stanno osservando sulla loro rete. Man mano che questo programma è maturato, NETSCOUT dispone di una visibilità completa del panorama degli attacchi DDoS, sia del numero che della natura degli attacchi. Questa visibilità informa e migliora i loro prodotti, consentendo loro di condividere i risultati dell'analisi sotto forma di documenti, post di blog e un rapporto semestrale sulle minacce. Da quando NETSCOUT ha iniziato a raccogliere e analizzare i dati nella forma attuale nel settembre 2012, ha osservato 96 milioni di attacchi, consentendo loro di eseguire un'analisi considerevole delle tendenze tra regioni e verticali, oltre a comprendere i vettori utilizzati e le dimensioni degli attacchi.
Omnis Threat Horizon è una soluzione per mostrare queste informazioni a un pubblico più ampio, essenzialmente chiunque sia interessato al panorama delle minacce e in particolare alle tendenze degli attacchi DDoS in un dato momento. Oltre a fornire mappe in tempo reale, la soluzione consente all'utente di tornare indietro nel tempo per osservare visivamente o in forma sintetica ciò che potrebbe essere accaduto in un dato momento.
Volevano assicurarsi che gli elementi visivi e l'applicazione fossero reattivi a livello globale, sia in termini di rappresentazione dei dati in tempo reale che di visualizzazione delle informazioni storiche. Inoltre, volevano mantenere il costo incrementale per utente il più basso possibile, per poter fornire questo servizio gratuitamente a livello globale.
Panoramica della soluzione
Il diagramma seguente illustra l'architettura della soluzione.
Uno degli obiettivi alla base della soluzione scelta era utilizzare i servizi AWS nativi in ogni istanza possibile. Inoltre, hanno scelto di suddividere la funzionalità dei componenti nei propri microservizi e di utilizzarli in modo coerente attraverso la soluzione.
I singoli sensori di monitoraggio forniscono i dati a Servizio di archiviazione semplice Amazon (Amazon S3) su base oraria. Man mano che vengono ricevute nuove voci, Servizio di notifica semplice Amazon (Amazon SNS) vengono consegnate le notifiche, con conseguente elaborazione dei dati. I microservizi successivi sono responsabili di:
- parsing
- Esecuzione di algoritmi per identificare e separare voci spurie
- Deduplica
- Punteggio
- Fiducia
Dopo questa elaborazione, ogni attacco viene rappresentato come un documento separato nel dominio del servizio OpenSearch. Al momento della stesura di questo post, NETSCOUT ha circa 96 milioni di attacchi nel cluster, ognuno dei quali può essere rappresentato in qualche forma nelle mappe e nei rapporti in Omnis Threat Horizon.
I dati sono organizzati in file bin orari e forniti all'applicazione tramite Amazon CloudFront.
Lezioni apprese relative a Elasticsearch
In progetti precedenti, NETSCOUT ha provato Apache Cassandra, un popolare database open source NoSQL, e lo ha ritenuto inadeguato per le query di aggregazione. Durante lo sviluppo di Horizon, hanno scelto Elasticsearch per ottenere l'accesso a funzionalità di query di aggregazione più potenti con un tempo di sviluppo significativamente inferiore.
Hanno iniziato con un'istanza autogestita, ma hanno dovuto affrontare i seguenti problemi:
- Notevole dispendio di ore persona semplicemente per gestire l'infrastruttura
- Ogni aggiornamento di versione era un processo complicato, che richiedeva molta pianificazione e poneva ancora sfide tecniche lungo il percorso
- Nessun ridimensionamento automatico e query di aggregazione di grandi dimensioni potrebbero interrompere Elasticsearch
Dopo alcuni cicli di potenziamento, sono passati a OpenSearch Service per superare queste sfide.
Risultato
NETSCOUT ha visto i seguenti vantaggi da questa architettura:
- Elaborazione rapida dei dati di attacco – Il tempo da quando i dati di attacco vengono ricevuti a quando sono disponibili nell'archivio dati è dell'ordine di secondi, consentendo loro di fornire visibilità quasi in tempo reale nella soluzione.
- Costi di gestione inferiori – L'archivio dati cresce costantemente e, utilizzando un servizio gestito, i team evitano di dover eseguire attività relative alla gestione del cluster. Questo è stato un grande punto dolente con soluzioni precedenti adottate che coinvolgevano la stessa tecnologia.
- Architettura scalabile – È possibile aggiungere nuove funzionalità alla pipeline man mano che emergono i requisiti, senza riprogettare altri componenti.
Conclusione
Con OpenSearch Service, NETSCOUT è stato in grado di creare un archivio dati resiliente per i dati di attacco che acquisisce. Come risultato delle scelte architetturali effettuate e dei servizi AWS sottostanti, sono in grado di fornire visibilità sui propri dati a piccoli costi incrementali, consentendo loro di fornire una piattaforma di visibilità globale senza alcun costo per l'utente finale.
Con la maggiore esperienza, il cloud più affidabile, scalabile e sicuro e il set di servizi e soluzioni più completo, AWS è il posto migliore per sbloccare il valore dai tuoi dati e trasformarli in insight.
Informazioni sugli autori
Hardik Modì è AVP, Threat and Migitation Products di NETSCOUT. In questo ruolo, supervisiona i team responsabili dei prodotti di mitigazione, nonché la creazione di contenuti di sicurezza per i prodotti NETSCOUT, consentendo la migliore protezione per gli utenti, nonché la fornitura continua e la pubblicazione di ricerche di impatto in tutto il DDoS e Intrusion paesaggi.
Sujatha Kuppuraju è Principal Solutions Architect presso Amazon Web Services (AWS). Si impegna con i clienti per creare soluzioni innovative che risolvano i problemi aziendali dei clienti e accelerino l'adozione dei servizi AWS.
Mike Aruda è Senior Technical Account Manager presso AWS, con sede nell'area del New England. Lavora con i clienti AWS Enterprise, supportando il loro successo nell'adozione delle best practice e aiutandoli a raggiungere i risultati aziendali desiderati con AWS.
- Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
- Platoblockchain. Web3 Metaverse Intelligence. Conoscenza amplificata. Accedi qui.
- Fonte: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $10 milioni
- 10
- 100
- 2012
- 2019
- a
- capace
- Chi siamo
- accelerare
- accesso
- Il mio account
- conti
- Raggiungere
- operanti in
- attività
- aggiunta
- indirizzo
- adottato
- Adottando
- Adozione
- aggregazione
- Algoritmi
- Tutti
- Consentire
- consente
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- .
- analitica
- l'analisi
- ed
- annuale
- chiunque
- Apache
- Applicazioni
- circa
- architettonico
- architettura
- RISERVATA
- atlante
- attacco
- attacchi
- AGOSTO
- Autenticazione
- auto
- disponibile
- consapevolezza
- AWS
- precedente
- basato
- base
- dietro
- essendo
- vantaggi
- MIGLIORE
- best practice
- Big
- Blog
- Post di Blog
- Rompere
- più ampia
- costruire
- costruito
- affari
- detto
- funzionalità
- catturare
- sfide
- scelte
- ha scelto
- scelto
- Cloud
- Cluster
- Raccolta
- collezione
- componente
- componenti
- globale
- notevole
- considerato
- coerente
- contenuto
- continuo
- Nucleo
- Costo
- Costi
- potuto
- creare
- creazione
- Corrente
- costume
- cliente
- Clienti
- personalizzate
- Cybersecurity
- cicli
- dati
- Banca Dati
- Protezione
- attacco DDoS
- consegnare
- consegnato
- consegna
- Denial of Service
- Design
- modelli di progettazione
- dettagli
- Costruttori
- in via di sviluppo
- Mercato
- Dsiplay
- distribuito
- documento
- dominio
- ogni
- elasticsearch
- elementi
- enable
- consentendo
- motore
- Inghilterra
- Impresa
- clienti aziendali
- aziende
- Etere (ETH)
- esperienza
- di fronte
- pochi
- File
- i seguenti
- modulo
- Gratis
- da
- funzionalità
- Inoltre
- generalmente
- ottenere
- dato
- globali
- Globalmente
- Go
- cresce
- avendo
- aiutare
- vivamente
- storico
- orizzonte
- ORE
- Come
- HTTPS
- identificare
- di forte impatto
- migliora
- in
- industria
- informazioni
- creativi e originali
- intuizione
- esempio
- interessato
- Internet
- coinvolto
- sicurezza
- IT
- mantenere
- Le
- paesaggio
- portare
- imparato
- linea
- lotto
- Basso
- fatto
- make
- gestire
- gestito
- gestione
- direttore
- carta geografica
- Maps
- microservices
- forza
- milione
- attenuazione
- monitoraggio
- Scopri di più
- maggior parte
- nativo
- Natura
- Rete
- New
- notifica
- notifiche
- numero
- Obiettivi d'Esame
- osservare
- open source
- operato
- minimo
- Organizzato
- Altro
- Superare
- proprio
- Dolore
- documenti
- particolare
- sentiero
- modelli
- eseguire
- persona
- conduttura
- posto
- pianificazione
- piattaforma
- Platone
- Platone Data Intelligence
- PlatoneDati
- punto
- Popolare
- possibile
- Post
- Post
- energia
- potente
- Accensione
- pratiche
- precedente
- Direttore
- problemi
- processi
- lavorazione
- Prodotto
- Prodotti
- Profili
- Programma
- progetti
- protezione
- fornire
- fornitore
- fornitori
- fornitura
- Pubblicazione
- tempo reale
- dati in tempo reale
- ricevuto
- record
- regioni
- relazionato
- affidabile
- rapporto
- Reportistica
- Report
- rappresentato
- che rappresenta
- Requisiti
- riparazioni
- elastico
- responsabile
- di risposta
- colpevole
- risultante
- Ruolo
- approssimativamente
- stesso
- scalabile
- scala
- secondo
- sicuro
- problemi di
- anziano
- sensore
- Settembre
- Serie
- servizio
- fornitori di servizi
- Servizi
- set
- Condividi
- significativamente
- Un'espansione
- semplicemente
- da
- Dimensioni
- piccole
- soluzione
- Soluzioni
- alcuni
- in particolare
- iniziato
- Ancora
- conservazione
- Tornare al suo account
- il successo
- SOMMARIO
- fornitori
- Supporto
- su misura
- task
- team
- le squadre
- Consulenza
- Tecnologie
- Tecnologia
- condizioni
- I
- loro
- minaccia
- Rapporto sulle minacce
- Attraverso
- tempo
- a
- tendenze
- TURNO
- sottostante
- capire
- sbloccare
- upgrade
- uso
- Utente
- utenti
- utilizzare
- APPREZZIAMO
- versione
- verticali
- via
- visibilità
- visitatori
- visualizzazione
- ricercato
- Magazzinaggio
- sito web
- servizi web
- Che
- Che cosa è l'
- quale
- while
- OMS
- auguri
- senza
- lavori
- scrittura
- Trasferimento da aeroporto a Sharm
- zefiro