In 2022,我们向您介绍了我们在 Amazon EMR 托管扩展,这有助于提高集群利用率并降低集群成本。 2023 年,我们很高兴地向您报告,Amazon EMR 团队一直在努力工作。 我们从客户需求出发,推出了多项新功能,以增强您在 EC2 集群上的 Amazon EMR 容量管理和扩展体验。
亚马逊电子病历 是使用开源框架(例如,PB 级数据处理、交互式分析和机器学习 (ML))的云大数据解决方案 Apache Spark, 阿帕奇蜂巢及 急板。 客户要求我们提供能够进一步改善 EC2 集群(包括大型、长期运行的集群)上的 EMR 的容量管理和扩展体验的功能。 我们一直在努力满足这些需求。 以下是一些关键增强功能:
- 通过为 Spot 实例配置超时来增强客户透明度和灵活性
- 通过实例组启动的 EC2 集群上针对 Amazon EMR 的优化任务节点扩展
- 通过增强对 Spark 驱动程序的保护来提高工作弹性
让我们更深入地探讨 EC2 上的新 Amazon EMR 功能。
通过为 Spot 实例配置超时来增强客户透明度和灵活性
许多 Amazon EMR 客户使用 EC2 Spot 实例 在 EC2 集群上使用 EMR 来降低成本。 Spot 实例是空闲的 亚马逊弹性计算云 (Amazon EC2) 计算容量与按需定价相比可享受高达 90% 的折扣。 Amazon EMR 使您能够手动或使用以下方式扩展集群: 自动缩放。 你也可以使用 Amazon EMR 托管扩展 功能可根据工作负载和利用率自动调整集群大小。
为了在使用 Spot 实例进行扩展时增强客户体验,对于使用实例队列启动的 EC2 集群上的 EMR,您现在可以指定 Spot 实例的预置超时。 如果集群在集群扩展操作期间超过指定的时间阈值,预置超时将告诉 Amazon EMR 停止预置 Spot 实例容量。 您可以为手动调整大小或使用 Amazon EMR Managed Scaling 和 Auto Scaling 的集群配置 Spot 实例预置超时。
此外,为了提供更好的透明度,当超时期限到期时,Amazon EMR 还会自动将事件发送到 Amazon CloudWatch活动 溪流。 通过这些 CloudWatch 事件,您可以创建根据指定模式匹配事件的规则,然后将事件路由到目标以采取操作。 要了解更多信息,请参阅 在 Amazon EMR 中自定义集群大小调整的预置超时期限.
下面总结了您在 EC2 集群上的 Amazon EMR 调整大小期间配置预置超时期限时不同场景的体验
EventXtra XNUMX大解决方案 | 经验丰富 |
Amazon EMR 能够在预置超时到期之前预置所需的 Spot 容量 | Amazon EMR 会自动将集群扩展到所需的容量,无需客户采取任何操作 |
Amazon EMR 无法预置任何 Spot 容量或只能预置部分 Spot 容量且预置超时已过期 | 如果 Amazon EMR 无法预置所需的 Spot 容量且预置超时已过,Amazon EMR 将取消调整大小请求并停止尝试预置额外的 Spot 容量。 Amazon EMR 还将事件发布到 Amazon CloudWatch Events 流。 客户可以使用这些事件来创建规则并采取适当的操作 |
如果 EC2 集群上的 Amazon EMR 中的 Spot 实例因 Amazon EC2 需要恢复而中断 | Amazon EMR 将自动触发新的调整大小请求,通过将实例替换为集群中的任何可用类型来重新平衡集群。 Amazon EMR 还将使用在集群上配置的相同配置调整大小超时。 客户无需采取任何行动。 |
在指定配置超时值时,您应该考虑容量可用性的重要性:
- 当您的工作负载容量可用性至关重要时 – 为了确保所需容量可用,我们建议根据运行应用程序和应用程序 SLA 所需的时间配置调整大小配置超时。 例如,如果应用程序 SLA 为 60 分钟,而应用程序需要 30 分钟才能完成,则应将调整大小配置超时设置为 30 分钟或更短。 Amazon EMR 将尝试预置以获得 Spot 容量,直到超时(30 分钟或更短)为止,并发布 CloudWatch 事件,以便您可以采取适当的操作。
- 当您的工作负载时间灵活并且容量可用性不是一个因素时 – 如果工作负载具有时间灵活性并且容量可用性不是一个因素,为了确保获得所需 Spot 容量的最大可能性,您可以为调整大小配置超时配置更高的超时值。
通过实例组启动的 EC2 集群上针对 Amazon EMR 的优化任务节点扩展
实例组提供了更简单的设置来在 EC2 集群上启动 EMR。 使用实例组启动的每个集群最多可包含 50 个实例组:一个包含 2 个 EC2 实例的主实例组、一个包含一个或多个 EC48 实例的核心实例组以及最多 2 个可选任务实例组。 您可以通过手动添加和删除 ECXNUMX 实例来扩展每个实例组,也可以设置自动扩展。 您还可以使用 Amazon EMR Managed Scaling 功能根据工作负载和利用率自动调整集群大小。
为了在使用 Amazon EMR Managed Scaling 扩展任务节点时增强 EC2 集群上 EMR 上的实例组的客户体验,我们增强了托管扩展算法,以选择最有可能获取容量的任务实例组。 此外,当托管扩展无法通过单个任务实例组获取容量时,为了减少扩展延迟,Amazon EMR 将自动切换到另一个任务组并通过使用多个任务实例组来满足容量。 因此,您的实例类型越灵活,配置容量的机会就越大。 要了解更多信息,请参阅 例如最佳实践和可用区灵活性.
通过增强对 Spark 驱动程序的保护来提高工作弹性
In 2022,为了提高使用 Amazon EMR Managed Scaling 时的作业弹性,我们增强了托管扩展以支持 Spark shuffle 数据感知,从而防止缩减存储 Apache Spark 中间 shuffle 数据的实例。 这有助于防止作业重新尝试和重新计算,从而提高性能并降低成本。
为了进一步提高使用 Amazon EMR Managed Scaling 时的作业弹性,我们进一步增强了托管扩展,使其能够感知 Spark 驱动程序,这可确保在集群缩减期间,Amazon EMR Managed Scaling 优先缩减没有集群的节点。运行在其上的活动 Spark 驱动程序。 这有助于最大限度地减少作业失败和作业重试,从而有助于进一步提高性能并降低成本。 对于使用 Amazon EMR 版本 5.34.0 及更高版本以及 Amazon EMR 版本 6.4.0 及更高版本的 EMR 集群,默认启用此增强功能。
要确认集群中的哪些节点正在运行 Spark Driver,您可以访问 Spark History Server 并在 执行人 Spark 应用程序 ID 的选项卡。
结论
在这篇文章中,我们重点介绍了我们在 EC2 集群上的 EMR 容量管理和 Amazon EMR 托管扩展方面所做的改进。 我们专注于提高作业弹性、增强配置 Spot 实例时的灵活性和透明度,以及优化在 EC2 集群上的 Amazon EMR 上的实例组上使用托管扩展时的扩展体验。 尽管我们在 2023 年迄今为止已经推出了多项功能,并且创新步伐不断加快,但这仍然是第一天,我们期待收到您的来信,了解这些功能如何帮助您为组织释放更多价值。 我们邀请您尝试这些新功能,如果您有进一步的意见,请通过您的 AWS 客户团队与我们联系。
关于作者
苏珊特·马吉蒂亚 是 AWS 的 EMR 首席产品经理。
安库尔戈亚尔 是 Amazon EMR 大数据平台团队的 SDM。 他构建了大规模分布式应用程序和集群优化算法。 Ankur 对分析、机器学习和预测等主题感兴趣。
马修连姆 是 AWS 的高级解决方案架构经理。
塔伦查纳纳 是 Amazon EMR 大数据平台团队的 SDM。
- SEO 支持的内容和 PR 分发。 今天得到放大。
- PlatoData.Network 垂直生成人工智能。 赋予自己力量。 访问这里。
- 柏拉图爱流。 Web3 智能。 知识放大。 访问这里。
- 柏拉图ESG。 汽车/电动汽车, 碳, 清洁科技, 能源, 环境, 太阳能, 废物管理。 访问这里。
- 柏拉图健康。 生物技术和临床试验情报。 访问这里。
- 图表Prime。 使用 ChartPrime 提升您的交易游戏。 访问这里。
- 块偏移量。 现代化环境抵消所有权。 访问这里。
- Sumber: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :具有
- :是
- :不是
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- Able
- 关于
- 加快
- 根据
- 账号管理
- 获得
- 收购
- 操作
- 行动
- 要积极。
- 添加
- 额外
- 算法
- 算法
- 还
- 尽管
- Amazon
- Amazon EC2
- 亚马逊电子病历
- 亚马逊网络服务
- an
- 分析
- 和
- 另一个
- 任何
- 阿帕奇
- Apache Spark
- 应用领域
- 应用领域
- 适当
- 架构
- 保健
- AS
- At
- 尝试
- 汽车
- 自动表
- 自动
- 可用性
- 可使用
- 察觉
- AWS
- 基于
- BE
- 很
- before
- 如下。
- 更好
- 大
- 大数据运用
- 建立
- by
- CAN
- 能力
- 容量
- 可能性
- 云端技术
- 云大数据
- 簇
- 注释
- 相比
- 完成
- 计算
- 配置
- 确认
- 所以
- 考虑
- 包含
- 继续
- 核心
- 价格
- 成本
- 创建信息图
- 危急程度
- 顾客
- 客户体验
- 合作伙伴
- data
- 数据平台
- 数据处理
- 天
- 更深
- 默认
- 延误
- 期望
- 细节
- 不同
- 折扣
- 讨论
- 分布
- 潜水
- 别
- 司机
- ,我们将参加
- 每
- 或
- 启用
- 提高
- 增强
- 增强
- 增强
- 确保
- 确保
- 醚(ETH)
- 活动
- 事件
- 例子
- 超过
- 体验
- 呼气
- 因素
- 远
- 专栏
- 特征
- 过滤
- 找到最适合您的地方
- 高度灵活
- 柔软
- 重点
- 以下
- 针对
- 向前
- 框架
- 止
- 履行
- 进一步
- 此外
- 得到
- 越来越
- 团队
- 组的
- 快乐
- 硬
- 有
- he
- 听力
- 帮助
- 帮助
- 帮助
- 帮助
- 更高
- 最高
- 突出
- 历史
- 创新中心
- HTML
- HTTP
- HTTPS
- ID
- if
- 改善
- 改善
- 改善
- in
- 包括
- 包含
- 創新
- 例
- 互动
- 有兴趣
- 中级
- 间断
- 邀请
- IT
- 工作
- 键
- 大
- 后来
- 发射
- 推出
- 信息
- 学习用品
- 学习
- 减
- 可能性
- 看
- 降低
- 机
- 机器学习
- 制成
- 管理
- 颠覆性技术
- 经理
- 手动
- 匹配
- 满足
- 分钟
- ML
- 更多
- 多
- 打印车票
- 需要
- 全新
- 新功能
- 没有
- 节点
- 现在
- of
- 提供
- 最多线路
- 优惠精选
- on
- 点播
- 一
- 仅由
- 开放源码
- 运营
- 优化
- 追求项目的积极优化
- or
- 组织
- 步伐
- 模式
- 性能
- 期间
- 平台
- 柏拉图
- 柏拉图数据智能
- 柏拉图数据
- 请
- 帖子
- 做法
- 防止
- 价格
- 小学
- 校长
- 处理
- 产品
- 产品经理
- 保护
- 提供
- 规定
- 发布
- 重新平衡
- 建议
- 减少
- 减少
- 参考
- 遗迹
- 删除
- 报告
- 请求
- 必须
- 岗位要求
- 路线
- 定位、竞价/采购和分析/优化数字媒体采购,但算法只不过是解决问题的操作和规则。
- 运行
- 运行
- 同
- 鳞片
- 放大
- 缩放
- 汤匙
- 提交
- 前辈
- 特色服务
- 集
- 格局
- 应该
- 洗牌
- 单
- So
- 至今
- 方案,
- 一些
- 火花
- 指定
- Spot
- Stop 停止
- 车站
- 商店
- 流
- 这样
- Switch 开关
- 采取
- 需要
- 目标
- 任务
- 团队
- 展示
- 这
- 其
- 他们
- 然后
- 博曼
- Free Introduction
- 那些
- 门槛
- 通过
- 次
- 至
- Topics
- 触摸
- 用户评论透明
- 触发
- 尝试
- 类型
- 开锁
- 直到
- us
- 使用
- 运用
- 折扣值
- 参观
- 是
- we
- 卷筒纸
- Web服务
- 井
- ,尤其是
- 这
- 将
- 工作
- 工作
- 将
- 您
- 您一站式解决方案
- 和风网