Este post foi escrito em parceria com Hardik Modi, AVP, Threat and Migitation Products da NETSCOUT.
NETSCOUT Horizonte de Ameaças Omnis é uma plataforma global de conscientização sobre segurança cibernética que fornece aos usuários visibilidade altamente contextualizada sobre atividades de ameaças "além do horizonte" no cenário global de DDoS (Distributed Denial of Service) - ameaças que podem estar afetando seu setor, seus clientes ou fornecedores. Ele permite que os visitantes criem perfis personalizados e entendam a atividade DDoS que está sendo observada quase em tempo real por meio da plataforma de visibilidade ATLAS da NETSCOUT. Os usuários podem criar contas gratuitas para criar perfis personalizados que levam a uma visualização baseada em mapa (como na captura de tela a seguir), bem como a relatórios de resumo personalizados. Os ataques DDoS podem ser impactantes para os serviços fornecidos pela Internet. Visibilidade dessa natureza é fundamental para quem deseja entender o que está acontecendo no cenário de ameaças. O Omnis Threat Horizon está disponível desde agosto de 2019.
Para fornecer visibilidade contínua a um baixo custo por usuário (para habilitar um serviço gratuito), a equipe de desenvolvimento da NETSCOUT escolheu uma série de tecnologias da AWS para capacitar a coleta, armazenamento, análise, armazenamento, autenticação do usuário e entrega do aplicativo. Em particular, eles escolheram Serviço Amazon OpenSearch como o principal mecanismo de análise. Eles armazenam todos os registros de ataques processados no serviço OpenSearch.
Este post discute os desafios e padrões de design que o NETSCOUT usou em seu caminho para representar os detalhes de aproximadamente 10 milhões de ataques DDoS anuais quase em tempo real.
BACKGROUND
A NETSCOUT, por meio de sua linha de produtos Arbor, é fornecedora de longa data de soluções para visibilidade de rede e mitigação de DDoS para provedores de serviços e empresas. Desde 2007, a NETSCOUT opera um programa chamado ATLAS, no qual os clientes podem optar por compartilhar dados anônimos sobre os ataques DDoS que estão observando em sua rede. Com o amadurecimento desse programa, o NETSCOUT passou a ter uma visibilidade abrangente do cenário de ataques DDoS — tanto o número quanto a natureza dos ataques. Essa visibilidade informa e melhora seus produtos, permitindo que eles compartilhem as descobertas da análise na forma de documentos, postagens de blog e um relatório semestral de ameaças. Desde que a NETSCOUT começou a coletar e analisar dados na forma atual em setembro de 2012, eles observaram 96 milhões de ataques, permitindo realizar análises consideráveis de tendências em regiões e verticais, bem como entender os vetores usados e tamanhos de ataques.
O Omnis Threat Horizon é uma solução para exibir essas informações a um público mais amplo — basicamente qualquer pessoa interessada no cenário de ameaças e, especificamente, nas tendências de ataques DDoS em um determinado momento. Além de fornecer mapas em tempo real, a solução permite que o usuário volte no tempo para observar visualmente ou de forma resumida o que pode ter acontecido em determinado momento.
Eles queriam garantir que os elementos visuais e o aplicativo fossem responsivos globalmente, tanto em termos de representação de dados em tempo real quanto de exibição de informações históricas. Além disso, eles queriam manter o custo incremental por usuário o mais baixo possível, para poder fornecer esse serviço gratuitamente globalmente.
Visão geral da solução
O diagrama a seguir ilustra a arquitetura da solução.
Um dos objetivos por trás da solução escolhida foi utilizar os serviços nativos da AWS em todas as instâncias possíveis. Além disso, eles optaram por dividir a funcionalidade do componente em seus próprios microsserviços e fazer uso consistente disso por meio da solução.
Sensores de monitoramento individuais fornecem dados para Serviço de armazenamento simples da Amazon (Amazon S3) por hora. À medida que novas entradas são recebidas, Serviço de notificação simples da Amazon (Amazon SNS) notificações são entregues, resultando no processamento dos dados. Microsserviços sucessivos são responsáveis por:
- Análise
- Executando algoritmos para identificar e separar entradas espúrias
- Deduplicação
- Marcar
- Confiança
Após esse processamento, cada ataque é representado como um documento separado no domínio OpenSearch Service. No momento em que escrevo este post, o NETSCOUT tem aproximadamente 96 milhões de ataques no cluster, todos os quais podem ser representados de alguma forma nos mapas e relatórios no Omnis Threat Horizon.
Os dados são organizados em arquivos bin por hora e fornecidos ao aplicativo por meio de Amazon CloudFront.
Lições aprendidas relacionadas ao Elasticsearch
Em projetos anteriores, a NETSCOUT experimentou o Apache Cassandra, um popular banco de dados NoSQL de código aberto, e o considerou inadequado para consultas de agregação. Ao desenvolver o Horizon, eles escolheram o Elasticsearch para obter acesso a recursos de consulta de agregação mais poderosos com significativamente menos tempo de desenvolvedor.
Eles começaram com uma instância autogerenciada, mas enfrentaram os seguintes problemas:
- Despesas consideráveis de horas-pessoa simplesmente para gerenciar a infraestrutura
- Cada atualização de versão era um processo envolvente, exigindo muito planejamento e ainda apresentando desafios técnicos ao longo do caminho
- Nenhum escalonamento automático e grandes consultas de agregação poderiam interromper o Elasticsearch
Depois de alguns ciclos de ativação, eles mudaram para o OpenSearch Service para superar esses desafios.
Resultado
A NETSCOUT viu os seguintes benefícios dessa arquitetura:
- Processamento rápido de dados de ataque – O tempo desde o recebimento dos dados do ataque até sua disponibilização no armazenamento de dados é da ordem de segundos, permitindo que forneçam visibilidade quase em tempo real na solução.
- Menor sobrecarga de gerenciamento – O armazenamento de dados cresce consistentemente e, ao usar um serviço gerenciado, as equipes evitam ter que executar tarefas relacionadas ao gerenciamento de cluster. Este foi um grande ponto problemático com soluções anteriores adotadas envolvendo a mesma tecnologia.
- Arquitetura escalável – É possível adicionar novos recursos ao pipeline à medida que surgem requisitos, sem a necessidade de rearquitetar outros componentes.
Conclusão
Com o OpenSearch Service, a NETSCOUT conseguiu criar um armazenamento de dados resiliente para os dados de ataque que eles capturam. Como resultado das escolhas arquitetônicas feitas e dos serviços subjacentes da AWS, eles podem fornecer visibilidade de seus dados com pequenos custos incrementais, permitindo que forneçam uma plataforma de visibilidade global sem nenhum custo para o usuário final.
Com a maior experiência, a nuvem mais confiável, escalável e segura e o conjunto mais abrangente de serviços e soluções, a AWS é o melhor lugar para extrair valor de seus dados e transformá-los em insights.
Sobre os autores
Hardik Modi é AVP, Threat and Migitation Products na NETSCOUT. Nessa função, ele supervisiona as equipes responsáveis pelos produtos de mitigação, bem como pela criação de conteúdo de segurança para produtos NETSCOUTs, permitindo a melhor proteção da categoria para os usuários, bem como a entrega e publicação contínuas de pesquisas impactantes sobre DDoS e Intrusão paisagens.
Sujatha Kupuraju é Arquiteto Principal de Soluções da Amazon Web Services (AWS). Ela se envolve com os clientes para criar soluções inovadoras que abordam os problemas de negócios do cliente e aceleram a adoção dos serviços da AWS.
Mike Arruda é gerente técnico de contas sênior da AWS, baseado na área de New England. Ele trabalha com clientes corporativos da AWS, apoiando seu sucesso na adoção de práticas recomendadas e ajudando-os a alcançar os resultados de negócios desejados com a AWS.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- Platoblockchain. Inteligência Metaverso Web3. Conhecimento Ampliado. Acesse aqui.
- Fonte: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- $ 10 milhões
- 10
- 100
- 2012
- 2019
- a
- Capaz
- Sobre
- acelerar
- Acesso
- Conta
- Contas
- Alcançar
- em
- atividade
- Adição
- endereço
- adotado
- Adotando
- Adoção
- agregação
- algoritmos
- Todos os Produtos
- Permitindo
- permite
- Amazon
- Amazon Web Services
- Amazon Web Services (AWS)
- análise
- analítica
- análise
- e
- anual
- qualquer um
- apache
- Aplicação
- aproximadamente
- arquitetônico
- arquitetura
- ÁREA
- atlas
- ataque
- Ataques
- AGOSTO
- Autenticação
- auto
- disponível
- consciência
- AWS
- em caminho duplo
- baseado
- base
- atrás
- ser
- Benefícios
- MELHOR
- melhores práticas
- Grande
- BLOG
- Posts do Blog
- Break
- mais amplo
- construir
- construído
- negócio
- chamado
- capacidades
- capturar
- desafios
- escolhas
- escolheu
- escolhido
- Na nuvem
- Agrupar
- Coleta
- coleção
- componente
- componentes
- compreensivo
- considerável
- considerado
- consistente
- conteúdo
- contínuo
- núcleo
- Custo
- custos
- poderia
- crio
- criação
- Atual
- personalizadas
- cliente
- Clientes
- personalizado
- Cíber segurança
- ciclos
- dados,
- banco de dados
- DDoS
- ataque DDoS
- entregar
- entregue
- Entrega
- Denial of Service
- Design
- Padrões de design
- detalhes
- Developer
- em desenvolvimento
- Desenvolvimento
- Ecrã
- distribuído
- documento
- domínio
- cada
- ElasticSearch
- elementos
- permitir
- permitindo
- Motor
- Inglaterra
- Empreendimento
- clientes corporativos
- empresas
- Éter (ETH)
- vasta experiência
- enfrentou
- poucos
- Arquivos
- seguinte
- formulário
- Gratuito
- da
- funcionalidade
- Além disso
- geralmente
- ter
- dado
- Global
- Globalmente
- Go
- Cresce
- ter
- ajuda
- altamente
- histórico
- horizonte
- HORÁRIO
- Como funciona o dobrador de carta de canal
- HTTPS
- identificar
- impactante
- melhora
- in
- indústria
- INFORMAÇÕES
- inovadores
- introspecção
- instância
- interessado
- Internet
- envolvido
- questões
- IT
- Guarda
- Chave
- paisagem
- conduzir
- aprendido
- Line
- lote
- Baixo
- moldadas
- fazer
- gerencia
- gerenciados
- de grupos
- Gerente
- mapa,
- mapas
- microsserviços
- poder
- milhão
- mitigação
- monitoração
- mais
- a maioria
- nativo
- Natureza
- rede
- Novo
- notificação
- notificações
- número
- objetivos
- observar
- open source
- operado
- ordem
- Organizado
- Outros
- Superar
- próprio
- Dor
- papéis
- particular
- caminho
- padrões
- realizar
- pessoa
- oleoduto
- Lugar
- planejamento
- plataforma
- platão
- Inteligência de Dados Platão
- PlatãoData
- ponto
- Popular
- possível
- Publique
- POSTAGENS
- poder
- poderoso
- Powering
- práticas
- anterior
- Diretor
- problemas
- processo
- em processamento
- Produto
- Produtos
- Perfis
- Agenda
- projetos
- proteção
- fornecer
- provedor
- fornecedores
- fornecendo
- Publicação
- em tempo real
- dados em tempo real
- recebido
- registros
- regiões
- relacionado
- confiável
- Denunciar
- Relatórios
- Relatórios
- representado
- representando
- Requisitos
- pesquisa
- resiliente
- responsável
- responsivo
- resultar
- resultando
- Tipo
- grosseiramente
- mesmo
- escalável
- dimensionamento
- segundo
- seguro
- segurança
- senior
- sensor
- Setembro
- Série
- serviço
- provedores de serviço
- Serviços
- conjunto
- Partilhar
- de forma considerável
- simples
- simplesmente
- desde
- tamanhos
- pequeno
- solução
- Soluções
- alguns
- especificamente
- começado
- Ainda
- armazenamento
- loja
- sucesso
- RESUMO
- fornecedores
- Apoiar
- adaptados
- tarefas
- Profissionais
- equipes
- Dados Técnicos:
- Tecnologias
- Equipar
- condições
- A
- deles
- ameaça
- Relatório de Ameaça
- Através da
- tempo
- para
- Tendências
- VIRAR
- subjacente
- compreender
- destravar
- atualização
- usar
- Utilizador
- usuários
- utilizar
- valor
- versão
- Verticais
- via
- visibilidade
- visitantes
- visualização
- querido
- Armazenagem
- web
- serviços web
- O Quê
- O que é a
- qual
- enquanto
- QUEM
- desejos
- sem
- trabalho
- escrita
- investimentos
- zefirnet