这篇文章是与 NETSCOUT 威胁和迁移产品助理副总裁 Hardik Modi 共同撰写的。
网播 Omnis 威胁地平线 是一个全球网络安全意识平台,为用户提供对全球 DDoS(分布式拒绝服务)环境中“超视距”威胁活动的高度情境化可视性,这些威胁可能会影响他们的行业、客户或供应商。 它允许访问者创建自定义配置文件并了解通过 NETSCOUT 的 ATLAS 可视性平台近乎实时观察到的 DDoS 活动。 用户可以创建免费帐户来创建自定义配置文件,从而实现基于地图的可视化(如下面的屏幕截图所示)以及定制的摘要报告。 DDoS 攻击可能会对通过互联网提供的服务产生影响。 对于任何希望了解威胁形势的人来说,这种性质的可见性至关重要。 Omnis Threat Horizon 自 2019 年 XNUMX 月起全面上市。
为了以较低的每用户成本提供持续的可见性(以实现免费服务),NETSCOUT 开发团队选择了一系列 AWS 技术来支持应用程序的收集、存储、分析、仓储、用户身份验证和交付。 特别是,他们选择了 亚马逊开放搜索服务 作为核心分析引擎。 他们将所有处理过的攻击记录存储在 OpenSearch Service 中。
这篇文章讨论了 NETSCOUT 在近乎实时地表示每年大约 10 万次 DDoS 攻击的详细信息过程中遇到的挑战和设计模式。
背景
NETSCOUT 通过其 Arbor 产品线,长期为服务提供商和企业提供网络可视性和 DDoS 缓解解决方案。 自 2007 年以来,NETSCOUT 运营了一个名为 ATLAS 的计划,客户可以选择共享有关他们在网络上观察到的 DDoS 攻击的匿名数据。 随着该计划的成熟,NETSCOUT 可以全面了解 DDoS 攻击情况 - 包括攻击的数量和性质。 这种可见性可以告知并改进他们的产品,使他们能够以论文、博客文章和一年两次的威胁报告的形式分享分析结果。 自 NETSCOUT 于 2012 年 96 月开始收集和分析当前形式的数据以来,他们已经观察到了 XNUMX 万次攻击,这使他们能够对跨地区和垂直行业的趋势进行大量分析,并了解所使用的向量和攻击规模。
Omnis Threat Horizon 是一种向更广泛的受众(基本上是对威胁形势感兴趣的任何人,特别是任何给定时间的 DDoS 攻击趋势感兴趣的人)显示此信息的解决方案。 除了提供实时地图之外,该解决方案还允许用户及时返回以直观或以摘要形式观察给定时间可能发生的情况。
他们希望确保视觉元素和应用程序在表示实时数据和显示历史信息方面能够在全球范围内做出响应。 此外,他们希望尽可能降低每个用户的增量成本,以便能够在全球范围内免费提供此服务。
解决方案概述
下图说明了解决方案体系结构。
所选解决方案背后的目标之一是在每个可能的实例中利用原生 AWS 服务。 此外,他们选择将组件功能分解为自己的微服务,并通过解决方案一致地使用它。
各个监控传感器将数据传送至 亚马逊简单存储服务 (Amazon S3) 按小时计算。 当收到新的条目时, 亚马逊简单通知服务 (Amazon SNS) 通知被发送,从而导致数据处理。 连续的微服务负责:
- 解析
- 运行算法来识别和分离虚假条目
- 重复数据删除
- 进球
- 置信度
经过此处理后,每次攻击都会在 OpenSearch 服务域中表示为单独的文档。 截至撰写本文时,NETSCOUT 集群中约有 96 万次攻击,所有这些攻击都可以在 Omnis Threat Horizon 的地图和报告中以某种形式表示。
数据按小时 bin 文件组织,并通过以下方式提供给应用程序 亚马逊的CloudFront的.
与 Elasticsearch 相关的经验教训
在之前的项目中,NETSCOUT 尝试过流行的 NoSQL 开源数据库 Apache Cassandra,并认为它不足以进行聚合查询。 在开发 Horizon 时,他们选择 Elasticsearch 来获得更强大的聚合查询功能,同时显着减少开发时间。
他们从自我管理的实例开始,但面临以下问题:
- 仅仅为了管理基础设施就花费大量的工时
- 每个版本升级都是一个复杂的过程,需要大量的规划,并且在此过程中仍然会带来技术挑战
- 自动缩放和大聚合查询不会破坏 Elasticsearch
经过几个周期的供电后,他们转向 OpenSearch 服务来克服这些挑战。
成果
NETSCOUT 从该架构中获得了以下优势:
- 快速处理攻击数据 – 从收到攻击数据到在数据存储中可用的时间约为几秒,从而使他们能够在解决方案中提供近乎实时的可见性。
- 降低管理开销 – 数据存储持续增长,并且通过使用托管服务,团队可以避免执行与集群管理相关的任务。 这是以前采用的涉及相同技术的解决方案的一个大痛点。
- 可扩展架构 – 当需求出现时,可以将新功能添加到管道中,而无需重新构建其他组件。
结论
借助 OpenSearch 服务,NETSCOUT 能够为其捕获的攻击数据构建弹性数据存储。 由于所做出的架构选择和底层 AWS 服务,他们能够以较小的增量成本提供数据可见性,从而使他们能够免费向最终用户提供全球可见性平台。
AWS 拥有最丰富的经验、最可靠、可扩展且安全的云以及最全面的服务和解决方案集,是释放数据价值并将其转化为洞察力的最佳场所。
作者简介
哈迪克·莫迪 是 NETSCOUT 的威胁和缓解产品助理副总裁。 在此职位上,他负责监督负责缓解产品以及为 NETSCOUT 产品创建安全内容的团队,为用户提供一流的保护,并持续交付和发布跨 DDoS 和入侵的有影响力的研究成果风景。
苏贾塔·库普拉朱 是 Amazon Web Services (AWS) 的首席解决方案架构师。 她与客户合作创建创新解决方案,解决客户业务问题并加速 AWS 服务的采用。
迈克·阿鲁达 是 AWS 驻新英格兰地区的高级技术客户经理。 他与 AWS 企业客户合作,支持他们成功采用最佳实践,并帮助他们通过 AWS 实现预期的业务成果。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- 柏拉图区块链。 Web3 元宇宙智能。 知识放大。 访问这里。
- Sumber: https://aws.amazon.com/blogs/big-data/how-netscout-built-a-global-ddos-awareness-platform-with-amazon-opensearch-service/
- 10 百万美元
- 10
- 100
- 2012
- 2019
- a
- Able
- 关于
- 加快
- ACCESS
- 账号管理
- 账户
- 横过
- 活动
- 增加
- 地址
- 采用
- 采用
- 采用
- 聚合
- 算法
- 所有类型
- 允许
- 允许
- Amazon
- 亚马逊网络服务
- 亚马逊网络服务(AWS)
- 分析
- 分析
- 分析
- 和
- 全年
- 任何人
- 阿帕奇
- 应用领域
- 约
- 建筑的
- 架构
- 国家 / 地区
- 舆图
- 攻击
- 攻击
- 八月
- 认证
- 汽车
- 可使用
- 意识
- AWS
- 背部
- 基于
- 基础
- 背后
- 作为
- 好处
- 最佳
- 最佳实践
- 大
- 博客
- 博客文章
- 午休
- 更广泛
- 建立
- 建
- 商业
- 被称为
- 能力
- 捕获
- 挑战
- 选择
- 选择
- 选择
- 云端技术
- 簇
- 收藏
- 采集
- 元件
- 组件
- 全面
- 大量
- 考虑
- 一贯
- 内容
- 连续
- 核心
- 价格
- 成本
- 可以
- 创建信息图
- 创建
- 电流
- 习俗
- 顾客
- 合作伙伴
- 定制
- 网络安全
- 周期
- data
- 数据库
- DDoS攻击
- DDoS攻击
- 交付
- 提升
- 交货
- 拒绝服务
- 设计
- 设计模式
- 详情
- 开发商
- 发展
- 研发支持
- 屏 显:
- 分布
- 文件
- 域
- 每
- Elasticsearch
- 分子
- enable
- 使
- 发动机
- 英国
- 企业
- 企业客户
- 企业
- 醚(ETH)
- 体验
- 面临
- 少数
- 档
- 以下
- 申请
- Free
- 止
- 功能
- 此外
- 通常
- 得到
- 特定
- 全球
- 在全球范围内
- Go
- 成长
- 有
- 帮助
- 高度
- 历史的
- 地平线
- HOURS
- 创新中心
- HTTPS
- 鉴定
- 有影响力的
- 提高
- in
- 行业中的应用:
- 信息
- 创新
- 洞察
- 例
- 有兴趣
- 网络
- 参与
- 问题
- IT
- 保持
- 键
- 景观
- 铅
- 知道
- Line
- 占地
- 低
- 制成
- 使
- 管理
- 管理
- 颠覆性技术
- 经理
- 地图
- 地图
- 微服务
- 可能
- 百万
- 减轻
- 监控
- 更多
- 最先进的
- 本地人
- 自然
- 网络
- 全新
- 通知
- 通知
- 数
- 目标
- 观察
- 开放源码
- 操作
- 秩序
- 举办
- 其他名称
- 克服
- 己
- 面包
- 文件
- 特别
- 径
- 模式
- 演出
- 人
- 管道
- 地方
- 规划行程
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 点
- 热门
- 可能
- 帖子
- 帖子
- 功率
- 强大
- 供电
- 做法
- 以前
- 校长
- 问题
- 过程
- 处理
- 产品
- 热销产品
- 简介
- 曲目
- 项目
- 保护
- 提供
- 提供者
- 供应商
- 优
- 出版物
- 实时的
- 实时数据
- 收到
- 记录
- 地区
- 有关
- 可靠
- 报告
- 报告
- 业务报告
- 代表
- 代表
- 岗位要求
- 研究
- 弹性
- 提供品牌战略规划
- 响应
- 导致
- 导致
- 角色
- περίπου
- 同
- 可扩展性
- 缩放
- 秒
- 安全
- 保安
- 前辈
- 传感器
- 九月
- 系列
- 服务
- 服务供应商
- 特色服务
- 集
- Share
- 显著
- 简易
- 只是
- 自
- 尺寸
- 小
- 方案,
- 解决方案
- 一些
- 特别是
- 开始
- 仍
- 存储
- 商店
- 成功
- 概要
- 供销商
- 支持
- 量身定制
- 任务
- 团队
- 队
- 文案
- 技术
- 专业技术
- 条款
- 其
- 威胁
- 威胁报告
- 通过
- 次
- 至
- 趋势
- 转
- 相关
- 理解
- 开锁
- 升级
- 使用
- 用户
- 用户
- 利用
- 折扣值
- 版本
- 垂直
- 通过
- 能见度
- 访客
- 可视化
- 通缉
- 仓储服务
- 卷筒纸
- Web服务
- 什么是
- 什么是
- 这
- 而
- WHO
- 祝愿
- 也完全不需要
- 合作
- 写作
- 您一站式解决方案
- 和风网