In 2022で行った新しい機能強化についてお話しました。 AmazonEMRマネージドスケーリングこれにより、クラスターの使用率が向上し、クラスターのコストが削減されました。 2023 年、Amazon EMR チームが熱心に取り組んできたことをご報告できることを嬉しく思います。 私たちは顧客の要件から逆算して、EC2 クラスター上の Amazon EMR の容量管理とスケーリングのエクスペリエンスを強化するための複数の新機能をリリースしました。
アマゾンEMR などのオープンソース フレームワークを使用した、ペタバイト規模のデータ処理、インタラクティブ分析、機械学習 (ML) のためのクラウド ビッグ データ ソリューションです。 Apache Spark, ApacheHive, プレストで。 お客様からは、大規模で長時間実行されるクラスターを含む EC2 クラスター上の EMR のキャパシティ管理とスケーリング エクスペリエンスをさらに向上させる機能を求められました。 私たちはそれらのニーズに応えるために懸命に取り組んできました。 主な機能強化の一部を次に示します。
- スポットインスタンスのプロビジョニングタイムアウトによる顧客の透明性と柔軟性の強化
- インスタンスグループで起動された EC2 クラスター上の Amazon EMR 向けに最適化されたタスクノードのスケールアップ
- Spark ドライバーの保護を強化してジョブの復元力を向上
EC2 の新しい Amazon EMR 機能についてさらに詳しく説明しましょう。
スポットインスタンスのプロビジョニングタイムアウトによる顧客の透明性と柔軟性の強化
多くの Amazon EMR 顧客が使用しています EC2 スポットインスタンス EC2 クラスター上の EMR でコストを削減します。 スポットインスタンスは予備です アマゾン エラスティック コンピューティング クラウド (Amazon EC2) コンピューティング容量は、オンデマンド価格と比較して最大 90% 割引で提供されます。 Amazon EMR は、手動または使用してクラスターをスケーリングする機能を提供します。 自動スケーリング。 あなたも使うことができます AmazonEMRマネージドスケーリング ワークロードと使用率に基づいてクラスターのサイズを自動的に変更する機能。
スポット インスタンスを使用してスケールアップする際のカスタマー エクスペリエンスを向上させるために、インスタンス フリートを使用して起動された EC2 クラスター上の EMR に対して、スポット インスタンスのプロビジョニング タイムアウトを指定できるようになりました。 プロビジョニングタイムアウトは、クラスターのスケーリング操作中にクラスターが指定された時間しきい値を超えた場合に、スポットインスタンス容量のプロビジョニングを停止するように Amazon EMR に指示します。 手動でサイズ変更されるクラスター、または Amazon EMR マネージド スケーリングと Auto Scaling を使用するクラスターのスポット インスタンス プロビジョニング タイムアウトを設定できます。
さらに、透明性を高めるために、タイムアウト期間が経過すると、Amazon EMR はイベントを自動的に送信します。 Amazon CloudWatchイベント ストリーム。 これらの CloudWatch イベントを使用すると、指定されたパターンに従ってイベントを照合するルールを作成し、イベントをターゲットにルーティングしてアクションを実行できます。 詳細については、を参照してください。 Amazon EMR でクラスターのサイズを変更するためのプロビジョニング タイムアウト期間をカスタマイズする.
EC2 クラスター上の Amazon EMR のサイズ変更中にプロビジョニング タイムアウト期間を設定するときのさまざまなシナリオのエクスペリエンスを以下にまとめています。
<span class="notranslate">シナリオ</span> | 体験 |
Amazon EMR は、プロビジョニングタイムアウトが期限切れになる前に、必要なスポット容量をプロビジョニングできます。 | Amazon EMR はクラスターを必要な容量まで自動的にスケールアップするため、お客様によるアクションは必要ありません。 |
Amazon EMR はスポット容量をプロビジョニングできないか、部分的なスポット容量しかプロビジョニングできず、プロビジョニングのタイムアウトが期限切れになっています | Amazon EMR が必要なスポット容量をプロビジョニングできず、プロビジョニングのタイムアウトが期限切れになった場合、Amazon EMR はサイズ変更リクエストをキャンセルし、追加のスポット容量をプロビジョニングする試みを停止します。 Amazon EMR は、イベントを Amazon CloudWatch Events ストリームにも発行します。 顧客はこれらのイベントを使用してルールを作成し、適切なアクションを実行できます。 |
Amazon EC2 がスポットインスタンスを戻す必要があるために、Amazon EMR on EC2 クラスター内のスポットインスタンスが中断された場合 | Amazon EMR は、インスタンスをクラスター内の使用可能なタイプのいずれかに置き換えることにより、クラスターのバランスを再調整するための新しいサイズ変更リクエストを自動的にトリガーします。 Amazon EMR は、クラスターで設定されたのと同じプロビジョニングのサイズ変更タイムアウトも使用します。 お客様によるアクションは必要ありません。 |
プロビジョニングのタイムアウト値を指定するときは、容量の可用性の重要性を考慮する必要があります。
- ワークロード容量の可用性が重要な場合 – 必要な容量を確実に利用できるようにするには、アプリケーションとアプリケーション SLA の実行にかかる時間に基づいて、サイズ変更プロビジョニング タイムアウトを構成することをお勧めします。 たとえば、アプリケーションの SLA が 60 分で、アプリケーションが完了するまでに 30 分かかる場合、サイズ変更プロビジョニング タイムアウトを 30 分以下に設定する必要があります。 Amazon EMR は、タイムアウトが経過する (30 分以内) までスポット容量を取得するためのプロビジョニングを試行し、適切なアクションを実行できるように CloudWatch イベントを発行します。
- ワークロードの時間に柔軟性があり、キャパシティの可用性が要因ではない場合 – ワークロードが時間に柔軟であり、容量の可用性が要因ではない場合、目的のスポット容量を取得する可能性を最大限に高めるために、サイズ変更プロビジョニング タイムアウトのタイムアウト値をより高く設定できます。
インスタンスグループで起動された EC2 クラスター上の Amazon EMR 向けに最適化されたタスクノードのスケールアップ
インスタンス グループを使用すると、EC2 クラスターで EMR を起動するための簡単なセットアップが可能になります。 インスタンス グループを使用して起動された各クラスターには、最大 50 個のインスタンス グループを含めることができます。つまり、2 つの EC2 インスタンスを含む 48 つのプライマリ インスタンス グループ、2 つ以上の ECXNUMX インスタンスを含むコア インスタンス グループ、および最大 XNUMX 個のオプションのタスク インスタンス グループです。 ECXNUMX インスタンスを手動で追加および削除することによって各インスタンス グループをスケーリングすることも、自動スケーリングを設定することもできます。 Amazon EMR マネージド スケーリング機能を使用して、ワークロードと使用率に基づいてクラスターのサイズを自動的に変更することもできます。
Amazon EMR マネージド スケーリングを使用してタスクノードをスケールアップする際の EC2 クラスター上の EMR 上のインスタンス グループのカスタマー エクスペリエンスを強化するために、キャパシティーを獲得する可能性が最も高いタスク インスタンス グループを選択するようにマネージド スケーリング アルゴリズムを強化しました。 さらに、マネージドスケーリングが単一のタスクインスタンスグループで容量を獲得できない場合、スケールアップの遅延を減らすために、Amazon EMR は自動的に別のタスクグループに切り替え、複数のタスクインスタンスグループを使用して容量を満たします。 したがって、インスタンスの種類を柔軟に設定すればするほど、キャパシティをプロビジョニングできる可能性が高くなります。 詳細については、を参照してください。 インスタンスとアベイラビリティーゾーンの柔軟性のベストプラクティス.
Spark ドライバーの保護を強化してジョブの復元力を向上
In 2022では、Amazon EMR マネージド スケーリングを使用する際のジョブの復元力を向上させるために、マネージド スケーリングを Spark シャッフル データ対応に強化しました。これにより、Apache Spark の中間シャッフル データを保存するインスタンスのスケールダウンが防止されます。 これにより、ジョブの再試行や再計算が防止され、パフォーマンスの向上とコストの削減につながります。
Amazon EMR マネージド スケーリングを使用する際のジョブの回復力をさらに向上させるために、Spark ドライバーを認識するようにマネージド スケーリングをさらに強化しました。これにより、クラスターのスケールダウン中に、Amazon EMR マネージド スケーリングは、クラスターを持たないノードのスケールダウンを優先します。それら上で実行されているアクティブな Spark ドライバー。 これにより、ジョブの失敗と再試行が最小限に抑えられ、パフォーマンスがさらに向上し、コストが削減されます。 この機能強化は、Amazon EMR バージョン 5.34.0 以降および Amazon EMR バージョン 6.4.0 以降を使用する EMR クラスターに対してデフォルトで有効になっています。
クラスター内のどのノードが Spark ドライバーを実行しているかを確認するには、Spark History Server にアクセスしてドライバーをフィルターします。 執行者 Spark アプリケーション ID のタブ。
まとめ
この投稿では、EC2 クラスター上の EMR のキャパシティ管理と Amazon EMR マネージド スケーリングで行われた改善点に焦点を当てました。 私たちは、スポットインスタンスをプロビジョニングする際のジョブの復元力の向上、柔軟性と透明性の強化、EC2 クラスター上の Amazon EMR のインスタンス グループでマネージド スケーリングを使用する際のスケールアップ エクスペリエンスの最適化に重点を置きました。 2023 年はこれまでに複数の機能をリリースしており、イノベーションのペースは加速し続けていますが、まだ初日にとどまっており、これらの機能が組織にとってより多くの価値を引き出すのにどのように役立つかについて、皆様からのご意見をお待ちしております。 ぜひこれらの新機能をお試しいただき、さらにご意見がございましたら AWS アカウントチームを通じてご連絡ください。
著者について
スシャント・マジシア は、AWS の EMR のプリンシパル プロダクト マネージャーです。
アンクル・ゴヤル は、Amazon EMR ビッグデータ プラットフォーム チームの SDM です。 彼は大規模な分散アプリケーションとクラスター最適化アルゴリズムを構築しています。 Ankur は、分析、機械学習、予測のトピックに興味があります。
マシュー・リーム AWS のシニア ソリューション アーキテクチャ マネージャーです。
タルン・チャナナ は、Amazon EMR ビッグデータ プラットフォーム チームの SDM です。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- チャートプライム。 ChartPrime でトレーディング ゲームをレベルアップしましょう。 こちらからアクセスしてください。
- ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/big-data/capacity-management-and-amazon-emr-managed-scaling-improvements-for-amazon-emr-on-ec2-clusters/
- :持っている
- :は
- :not
- $UP
- 1
- 100
- 11
- 2023
- 30
- 50
- 60
- 7
- 9
- a
- できる
- 私たちについて
- 加速する
- 従った
- 取得する
- 取得
- Action
- 行動
- アクティブ
- 追加
- NEW
- アルゴリズム
- アルゴリズム
- また
- しかし
- Amazon
- Amazon EC2
- アマゾンEMR
- Amazon Webサービス
- an
- 分析論
- および
- 別の
- どれか
- アパッチ
- Apache Spark
- 申し込み
- 適切な
- 建築
- です
- AS
- At
- 試み
- オート
- オートマチック
- 自動的に
- 賃貸条件の詳細・契約費用のお見積り等について
- 利用できます
- 知って
- AWS
- ベース
- BE
- き
- 以下
- より良いです
- ビッグ
- ビッグデータ
- 構築します
- by
- 缶
- 機能
- 容量
- チャンス
- 選択する
- クラウド
- クラウドビッグデータ
- クラスタ
- 注釈
- 比べ
- コンプリート
- 計算
- 設定された
- 確認します
- その結果
- 検討
- 含まれています
- 続ける
- 基本
- 費用
- コスト
- 作ります
- 臨界
- 顧客
- 顧客満足体験
- Customers
- データ
- データ処理
- 中
- より深い
- デフォルト
- 遅延
- 希望
- 詳細
- 異なります
- 割引
- 話し合います
- 配布
- ダイビング
- ドント
- ドライバー
- 間に
- 各
- どちら
- 使用可能
- 高めます
- 強化された
- 強化
- 強化
- 確保
- 確実に
- エーテル(ETH)
- イベント
- イベント
- 例
- 超え
- 体験
- 期限切れ
- 要因
- 遠く
- 特徴
- 特徴
- filter
- もう完成させ、ワークスペースに掲示しましたか?
- 柔軟性
- フレキシブル
- 焦点を当て
- フォロー中
- フォワード
- フレームワーク
- から
- 満たす
- さらに
- さらに
- 取得する
- 受け
- グループ
- グループの
- ハッピー
- ハード
- 持ってる
- he
- 耳
- 助けます
- 助けました
- 助け
- ことができます
- より高い
- 最高
- 強調表示された
- history
- 認定条件
- HTML
- HTTP
- HTTPS
- ID
- if
- 改善します
- 改善
- 改善
- in
- include
- 含めて
- 革新的手法
- 相互作用的
- 興味がある
- 中級
- 中断された
- 招待
- IT
- ジョブ
- キー
- 大
- 後で
- 起動する
- 打ち上げ
- リード
- LEARN
- 学習
- less
- 尤度
- 見て
- 下側
- 機械
- 機械学習
- 製
- マネージド
- 管理
- マネージャー
- 手動で
- 一致
- 大会
- 分
- ML
- 他には?
- の試合に
- 必要とされる
- ニーズ
- 新作
- 新しい特徴
- いいえ
- ノード
- 今
- of
- 提供
- 提供
- オファー
- on
- オンデマンド
- ONE
- の
- オープンソース
- 業務執行統括
- 最適化
- 最適化
- or
- 組織
- 平和
- パターン
- パフォーマンス
- 期間
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- お願いします
- ポスト
- プラクティス
- を防止
- 価格設定
- 主要な
- 校長
- 処理
- プロダクト
- プロダクトマネージャー
- 保護
- 提供します
- 準備
- パブリッシュ
- リバランス
- 推奨する
- 減らします
- 電話代などの費用を削減
- 参照する
- 残っている
- 除去
- レポート
- 要求
- の提出が必要です
- 要件
- ルート
- ルール
- ラン
- ランニング
- 同じ
- 規模
- 拡大する
- スケーリング
- SDM
- 送信
- シニア
- サービス
- セッションに
- すべき
- シャッフル
- So
- これまでのところ
- 溶液
- 一部
- スパーク
- 指定の
- Spot
- Force Stop
- 停止する
- 店舗
- 流れ
- そのような
- スイッチ
- 取る
- 取り
- ターゲット
- 仕事
- チーム
- 言う
- それ
- アプリ環境に合わせて
- それら
- その後
- ボーマン
- この
- それらの
- しきい値
- 介して
- 時間
- 〜へ
- トピック
- touch
- 透明性
- トリガー
- 試します
- アンロック
- まで
- us
- つかいます
- 値
- 訪問
- ました
- we
- ウェブ
- Webサービス
- WELL
- いつ
- which
- 意志
- 仕事
- 働いていました
- でしょう
- 貴社
- あなたの
- ゼファーネット