Cet article a été co-écrit avec Hardik Modi, AVP, Threat and Mititation Products chez NETSCOUT.
NETSCOUT Horizon de la menace omnis est une plate-forme mondiale de sensibilisation à la cybersécurité offrant aux utilisateurs une visibilité hautement contextualisée sur l'activité des menaces « à l'horizon » sur le paysage mondial DDoS (déni de service distribué) — menaces qui pourraient avoir un impact sur leur industrie, leurs clients ou leurs fournisseurs. Il permet aux visiteurs de créer des profils personnalisés et de comprendre l'activité DDoS observée en temps quasi réel via la plateforme de visibilité ATLAS de NETSCOUT. Les utilisateurs peuvent créer des comptes gratuits pour créer des profils personnalisés qui conduisent à une visualisation basée sur une carte (comme dans la capture d'écran suivante) ainsi qu'à des rapports récapitulatifs personnalisés. Les attaques DDoS peuvent avoir un impact sur les services fournis sur Internet. Une visibilité de cette nature est essentielle pour quiconque souhaite comprendre ce qui se passe dans le paysage des menaces. Omnis Threat Horizon est généralement disponible depuis août 2019.
Pour fournir une visibilité continue à un faible coût par utilisateur (pour permettre un service gratuit), l'équipe de développement NETSCOUT a choisi une série de technologies AWS pour alimenter la collecte, le stockage, l'analyse, l'entreposage, l'authentification des utilisateurs et la livraison de l'application. Ils ont notamment choisi Service Amazon OpenSearch en tant que moteur d'analyse de base. Ils stockent tous les enregistrements d'attaque traités dans OpenSearch Service.
Cet article traite des défis et des modèles de conception utilisés par NETSCOUT pour représenter les détails d'environ 10 millions d'attaques DDoS annuelles en temps quasi réel.
Contexte
NETSCOUT, à travers sa gamme de produits Arbor, est un fournisseur de longue date de solutions de visibilité réseau et d'atténuation des attaques DDoS pour les fournisseurs de services et les entreprises. Depuis 2007, NETSCOUT exploite un programme appelé ATLAS, dans lequel les clients peuvent choisir de partager des données anonymisées sur les attaques DDoS qu'ils observent sur leur réseau. Au fur et à mesure que ce programme a mûri, NETSCOUT a une visibilité complète sur le paysage des attaques DDoS, à la fois sur le nombre et la nature des attaques. Cette visibilité informe et améliore leurs produits, leur permettant de partager les résultats de l'analyse sous la forme d'articles, d'articles de blog et d'un rapport semestriel sur les menaces. Depuis que NETSCOUT a commencé à collecter et à analyser les données sous leur forme actuelle en septembre 2012, ils ont observé 96 millions d'attaques, ce qui leur a permis d'effectuer une analyse considérable des tendances dans les régions et les secteurs verticaux, ainsi que de comprendre les vecteurs utilisés et la taille des attaques.
Omnis Threat Horizon est une solution pour afficher ces informations à un public plus large, essentiellement toute personne intéressée par le paysage des menaces, et plus particulièrement les tendances des attaques DDoS à un moment donné. En plus de fournir des cartes en temps réel, la solution permet à l'utilisateur de remonter dans le temps pour observer visuellement ou sous forme synthétique ce qui a pu se passer à un moment donné.
Ils voulaient s'assurer que les éléments visuels et l'application étaient réactifs à l'échelle mondiale, à la fois en termes de représentation des données en temps réel et d'affichage des informations historiques. De plus, ils souhaitaient maintenir le coût incrémentiel par utilisateur aussi bas que possible, afin de pouvoir fournir ce service gratuitement dans le monde entier.
Vue d'ensemble de la solution
Le diagramme suivant illustre l'architecture de la solution.
L'un des objectifs de la solution choisie était d'utiliser les services AWS natifs dans toutes les instances possibles. En outre, ils ont choisi de décomposer la fonctionnalité des composants dans leurs propres microservices et d'en faire un usage cohérent via la solution.
Des capteurs de surveillance individuels fournissent des données à Service de stockage simple Amazon (Amazon S3) sur une base horaire. Au fur et à mesure que de nouvelles entrées sont reçues, Service de notification simple d'Amazon (Amazon SNS) sont envoyées, ce qui entraîne le traitement des données. Les microservices successifs sont chargés de :
- Analyse
- Exécution d'algorithmes pour identifier et séparer les fausses entrées
- Déduplication
- Scoring
- confiance en so
Après ce traitement, chaque attaque est représentée sous la forme d'un document distinct dans le domaine OpenSearch Service. Au moment de la rédaction de cet article, NETSCOUT compte environ 96 millions d'attaques dans le cluster, qui peuvent toutes être représentées sous une forme ou une autre dans les cartes et les rapports d'Omnis Threat Horizon.
Les données sont organisées en fichiers bin horaires et servies à l'application via Amazon CloudFront.
Leçons apprises concernant Elasticsearch
Sur des projets précédents, NETSCOUT a essayé Apache Cassandra, une base de données open source NoSQL populaire, et l'a considérée comme inadéquate pour les requêtes d'agrégation. Lors du développement d'Horizon, ils ont choisi Elasticsearch pour accéder à des fonctionnalités de requête d'agrégation plus puissantes avec beaucoup moins de temps de développement.
Ils ont commencé avec une instance autogérée, mais ont rencontré les problèmes suivants :
- Dépense considérable d'heures-personnes simplement pour gérer l'infrastructure
- Chaque mise à niveau de version était un processus complexe, nécessitant beaucoup de planification et posant toujours des défis techniques en cours de route
- Aucune mise à l'échelle automatique et de grandes requêtes d'agrégation ne pourraient casser Elasticsearch
Après quelques cycles de mise sous tension, ils sont passés à OpenSearch Service pour surmonter ces défis.
Résultat
NETSCOUT a vu les avantages suivants de cette architecture :
- Traitement rapide des données d'attaque – Le délai entre la réception des données d'attaque et leur disponibilité dans le magasin de données est de l'ordre de quelques secondes, ce qui leur permet de fournir une visibilité en temps quasi réel dans la solution.
- Réduction des frais généraux de gestion – Le magasin de données se développe constamment et, en utilisant un service géré, les équipes évitent d'avoir à effectuer des tâches liées à la gestion du cluster. C'était un gros problème avec les solutions précédentes adoptées impliquant la même technologie.
- Architecture évolutive – Il est possible d'ajouter de nouvelles fonctionnalités dans le pipeline au fur et à mesure que les besoins émergent, sans réarchitecturer d'autres composants.
Conclusion
Avec OpenSearch Service, NETSCOUT a pu créer un magasin de données résilient pour les données d'attaque qu'il capture. Grâce aux choix architecturaux effectués et aux services AWS sous-jacents, ils sont en mesure de fournir une visibilité sur leurs données à de faibles coûts supplémentaires, ce qui leur permet de fournir une plate-forme de visibilité globale sans frais pour l'utilisateur final.
Avec le plus d'expérience, le cloud le plus fiable, évolutif et sécurisé, et l'ensemble de services et de solutions le plus complet, AWS est le meilleur endroit pour libérer la valeur de vos données et les transformer en informations.
À propos des auteurs
Hardik Modi est AVP, Threat and Mititation Products chez NETSCOUT. Dans ce rôle, il supervise les équipes responsables des produits d'atténuation ainsi que la création de contenu de sécurité pour les produits NETSCOUT, permettant une protection optimale pour les utilisateurs, ainsi que la livraison et la publication continues de recherches percutantes sur les attaques DDoS et Intrusion. paysages.
Sujatha Kuppuraju est architecte principal de solutions chez Amazon Web Services (AWS). Elle s'engage auprès des clients pour créer des solutions innovantes qui répondent aux problèmes commerciaux des clients et accélèrent l'adoption des services AWS.
Mike Arruda est Senior Technical Account Manager chez AWS, basé dans la région de la Nouvelle-Angleterre. Il travaille avec les clients d'AWS Enterprise, soutenant leur succès dans l'adoption des meilleures pratiques et les aidant à atteindre les résultats commerciaux souhaités avec AWS.
- Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
- Platoblockchain. Intelligence métaverse Web3. Connaissance Amplifiée. Accéder ici.
- La source: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- 10 millions de dollars
- 10
- 100
- 2012
- 2019
- a
- Capable
- Qui sommes-nous
- accélérer
- accès
- Compte
- hybrides
- atteindre
- à travers
- activité
- ajout
- propos
- adopté
- L'adoption d'
- Adoption
- agrégation
- algorithmes
- Tous
- Permettre
- permet
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- selon une analyse de l’Université de Princeton
- analytique
- l'analyse
- ainsi que
- annuel
- chacun.e
- Apache
- Application
- d'environ
- architectural
- architecture
- Réservé
- atlas
- attaquer
- Attaques
- Août
- Authentification
- auto
- disponibles
- AWS
- RETOUR
- basé
- base
- derrière
- va
- avantages.
- LES MEILLEURS
- les meilleures pratiques
- Big
- BLOG
- Blogue
- Pause
- plus large
- construire
- construit
- la performance des entreprises
- appelé
- capacités
- capturer
- globaux
- choix
- choisir
- choisi
- le cloud
- Grappe
- Collecte
- collection
- composant
- composants électriques
- complet
- considérable
- considéré
- cohérent
- contenu
- continu
- Core
- Prix
- Costs
- pourriez
- engendrent
- création
- Courant
- Customiser
- des clients
- Clients
- sont adaptées
- Cybersécurité
- cycles
- données
- Base de données
- DDoS
- Attaque DDoS
- livrer
- livré
- page de livraison.
- Déni de service
- Conception
- modèles de conception
- détails
- Développeur
- développement
- Développement
- Commande
- distribué
- document
- domaine
- chacun
- ElasticSearch
- éléments
- permettre
- permettant
- Moteur
- de l'Angleterre
- Entreprise
- clients entreprise
- entreprises
- Ether (ETH)
- Découvrez
- face
- few
- Fichiers
- Abonnement
- formulaire
- Test d'anglais
- de
- En outre
- généralement
- obtenez
- donné
- Global
- À l'échelle mondiale
- Go
- Pousse
- ayant
- aider
- très
- historique
- horizon
- HEURES
- Comment
- HTTPS
- identifier
- percutants
- améliore
- in
- industrie
- d'information
- technologie innovante
- perspicacité
- instance
- intéressé
- Internet
- impliqué
- vous aider à faire face aux problèmes qui vous perturbent
- IT
- XNUMX éléments à
- ACTIVITES
- paysage d'été
- conduire
- savant
- Gamme
- Lot
- Faible
- LES PLANTES
- faire
- gérer
- gérés
- gestion
- manager
- Localisation
- Map
- microservices
- pourrait
- million
- atténuation
- Stack monitoring
- PLUS
- (en fait, presque toutes)
- indigène
- Nature
- réseau et
- Nouveauté
- déclaration
- Notifications
- nombre
- objectifs
- observer
- open source
- réalisés
- de commander
- Organisé
- Autre
- Overcome
- propre
- Pain
- papiers
- particulier
- chemin
- motifs
- effectuer
- personne
- pipeline
- Place
- et la planification de votre patrimoine
- plateforme
- Platon
- Intelligence des données Platon
- PlatonDonnées
- Point
- Populaire
- possible
- Post
- Poteaux
- power
- solide
- Alimentation
- pratiques
- précédent
- Directeur
- d'ouvrabilité
- processus
- traitement
- Produit
- Produits
- Profils
- Programme
- projets
- protection
- fournir
- de voiture.
- fournisseurs
- aportando
- Publication
- en temps réel
- données en temps réel à grande vitesse.
- reçu
- Articles
- régions
- en relation
- fiable
- rapport
- Rapports
- Rapports
- représenté
- représentation
- Exigences
- un article
- résilient
- responsables
- sensible
- résultat
- résultant
- Rôle
- grossièrement
- même
- évolutive
- mise à l'échelle
- secondes
- sécurisé
- sécurité
- supérieur
- capteur
- Septembre
- Série
- service
- les fournisseurs de services
- Services
- set
- Partager
- de façon significative
- étapes
- simplement
- depuis
- tailles
- petit
- sur mesure
- Solutions
- quelques
- spécifiquement
- j'ai commencé
- Encore
- storage
- Boutique
- succès
- RÉSUMÉ
- fournisseurs
- Appuyer
- tâches
- équipe
- équipes
- Technique
- Les technologies
- Technologie
- conditions
- La
- leur
- menace
- Rapport de menace
- Avec
- fiable
- à
- Trends
- TOUR
- sous-jacent
- comprendre
- ouvrir
- améliorer
- utilisé
- Utilisateur
- utilisateurs
- utiliser
- Plus-value
- version
- verticales
- via
- définition
- visiteurs
- visualisation
- voulu
- Entreposage
- web
- services Web
- Quoi
- Qu’est ce qu'
- qui
- tout en
- WHO
- vœux
- sans
- vos contrats
- écriture
- Votre
- zéphyrnet