これは、アルシオンのザック ロスマンと共同執筆したゲスト ブログ投稿です。
Alcion は、セキュリティ第一の AI 主導のサービスとしてのバックアップ (BaaS) プラットフォームであり、Microsoft 365 管理者がサイバー脅威や偶発的なデータ損失からデータを迅速かつ直感的に保護できるように支援します。 データ損失が発生した場合、Alcion の顧客は、バックアップされたアイテム (ファイル、電子メール、連絡先、イベントなど) のメタデータを検索して、復元する特定のアイテムのバージョンを選択する必要があります。 アルシオンが使用しているもの AmazonOpenSearchサービス このバックアップ カタログ全体にわたって、正確、効率的、信頼性の高い検索機能を顧客に提供します。 プラットフォームはマルチテナントです。つまり、テナントが自分のデータのみを検索できるように、アルシオンはデータの分離と強力なセキュリティを必要とします。
OpenSearch Service は、AWS クラウドでの OpenSearch のデプロイ、拡張、運用を容易にするフルマネージド サービスです。 OpenSearch は、Apache-2.0 ライセンスのオープンソースの検索および分析スイートであり、OpenSearch (検索、分析エンジン、ベクター データベース)、OpenSearch ダッシュボード (視覚化およびユーティリティ ユーザー インターフェイス)、エンタープライズなどの高度な機能を提供するプラグインで構成されています。 -グレードのセキュリティ、異常検出、可観測性、アラートなど。 Amazon OpenSearch サーバーレス は、OpenSearch Service ドメインの構成、管理、拡張を行わずに OpenSearch を簡単に使用できるようにするサーバーレス展開オプションです。
この投稿では、OpenSearch サーバーレスを導入することで、Alcion がスケール要件を満たし、運用オーバーヘッドを削減し、テナントのデータをセキュリティで保護する方法を共有します。 テナントの分離 マルチテナント環境内で。
OpenSearch Service の管理対象ドメイン
Alcion は、検索アーキテクチャの最初の反復として、OpenSearch Service のマネージド ドメイン デプロイメント オプションを選択し、XNUMX か月以内に本番環境で検索機能を開始することができました。 セキュリティ、規模、テナントの要件を満たすために、各テナントのデータを専用のインデックスに保存し、 きめ細かいアクセス制御 OpenSearch Service でテナント間のデータ漏洩を防ぎます。 ワークロードが進化するにつれて、Alcion のエンジニアは、提供された OpenSearch ドメインの使用状況を追跡しました。 アマゾンクラウドウォッチ メトリクスを変更し、ストレージを増やしてコンピューティング リソースを最適化します。
アルシオンのチームは、OpenSearch Service 管理ドメインのいくつかの機能を使用して、運用スタンスを改善しました。 彼らはインデックス エイリアスを導入しました。これは、基礎となる複数のインデックスにアクセス (読み取りおよび書き込み) するための単一のエイリアス名を提供します。 彼らはまた、 インデックス状態管理 (ISM) ポリシーは、インデックス サイズに基づいてインデックスをロールオーバーすることで、データ ライフサイクルを制御するのに役立ちます。 大規模テナントのインデックスを拡張するには、ISM ポリシーとインデックス エイリアスを組み合わせることが必要でした。 アルシオンも使用 インデックステンプレート データのライフサイクルを自動化し、ドメインのパフォーマンスと安定性を向上させるために、データのインデックスごとのシャード (パーティショニング) を定義します。
次のアーキテクチャ図は、Alcion が OpenSearch マネージド ドメインをどのように構成したかを示しています。
次の図は、Microsoft 365 データがどのようにテナント固有のインデックスにインデックス付けされ、テナント固有のインデックスからクエリが実行されるかを示しています。 Alcion は、各 API リクエストで OpenSearch プライマリ ユーザー資格情報を提供することにより、リクエスト認証を実装しました。
OpenSearch サーバーレスの概要とテナント モデルのオプション
OpenSearch Service マネージド ドメインは、Alcion の検索機能に安定した基盤を提供しましたが、チームはピーク時のワークロードに合わせてドメインにリソースを手動でプロビジョニングする必要がありました。 アルシオンのワークロードは突発的であるため、これにはコスト最適化の余地が残されていました。つまり、XNUMX 人の顧客と全体の両方で、XNUMX 秒あたりの検索およびインデックス作成トランザクションの数に大きなばらつきがあるからです。 コストと運用負担を軽減するために、チームは自動スケーリング機能を提供する OpenSearch Serverless に目を向けました。
OpenSearch Serverless を使用するには、最初のステップはコレクションを作成することです。 あ コレクション は、特定のワークロードまたはユースケースをサポートするために連携して動作する OpenSearch インデックスのグループです。 OpenSearch コンピューティング ユニット (OCU) と呼ばれるコレクションのコンピューティング リソースは、暗号化キーを共有するアカウント内のすべてのコレクション間で共有されます。 OCU のプールは、インデックス作成と検索トラフィックの需要を満たすために自動的にスケールアップおよびスケールダウンされます。
OpenSearch サーバーレス コレクションが OpenSearch サービス マネージド ドメインと同じ OpenSearch API およびライブラリをサポートしているため、OpenSearch Service マネージド ドメインから OpenSearch サーバーレスへの移行に必要な作業レベルは管理可能でした。 これにより、アルシオンは新しい検索アーキテクチャのテナンシー モデルの最適化に注力できるようになりました。 具体的には、チームは、セキュリティと総所有コストのバランスをとりながら、コレクションとインデックス内でテナント データを分割する方法を決定する必要がありました。 Alcion のエンジニアは、OpenSearch サーバーレス チームと協力して、 XNUMX つのテナント モデルを検討:
- サイロ モデル: テナントごとにコレクションを作成する
- プール モデル: 単一のコレクションを作成し、複数のテナントに対して単一のインデックスを使用します。
- ブリッジ モデル: 単一のコレクションを作成し、テナントごとに単一のインデックスを使用します。
XNUMX つの設計上の選択肢にはすべて、最終的なソリューションを設計する際に考慮する必要がある利点とトレードオフがありました。
サイロ モデル: テナントごとにコレクションを作成する
このモデルでは、アルシオンは、新しい顧客がプラットフォームに登録されるたびに新しいコレクションを作成します。 テナント データはコレクション間で明確に分離されますが、コレクションの作成時間により、顧客は登録直後にデータのバックアップや検索ができないため、このオプションは不適格となりました。
プール モデル: 単一のコレクションを作成し、複数のテナントに対して単一のインデックスを使用します。
このモデルでは、Alcion は AWS アカウントごとに XNUMX つのコレクションを作成し、そのコレクションに属する多数の共有インデックスの XNUMX つでテナント固有のデータにインデックスを付けます。 当初、テナント データを共有インデックスにプールすることは、インデックス リソースを最も効率的に使用できるため、スケールの観点から魅力的でした。 しかし、さらなる分析の結果、Alcion は、テナントごとに XNUMX つのインデックスを割り当てたとしても、コレクションごとのインデックス クォータ内に十分収まることがわかりました。 スケーラビリティに関する懸念が解決されたため、アルシオンは XNUMX 番目のオプションを追求しました。テナント データを専用インデックスにサイロ化すると、共有インデックス モデルよりもテナントの分離が強化されるためです。
ブリッジ モデル: 単一のコレクションを作成し、テナントごとに単一のインデックスを使用します。
このモデルでは、Alcion は AWS アカウントごとに XNUMX つのコレクションを作成し、そのアカウントによって管理される数百のテナントごとにインデックスを作成します。 各テナントを専用のインデックスに割り当て、これらのインデックスを XNUMX つのコレクションにプールすることで、Alcion は新しいテナントのオンボーディング時間を短縮し、テナント データをきれいに分離されたバケットにサイロ化しました。
マルチテナンシーをサポートするためのロールベースのアクセス制御の実装
OpenSearch Serverless は、データ アクセス、ネットワーク アクセス、暗号化をカバーする、マルチポイントの継承可能なセキュリティ制御セットを提供します。 アルシオンは OpenSearch サーバーレスを最大限に活用しました データアクセスポリシー 次の詳細を使用して、テナント固有のインデックスごとにロールベースのアクセス制御 (RBAC) を実装します。
- 共通のプレフィックスとテナント ID を持つインデックスを割り当てます (例:
index-v1-<tenantID>
) - 専用のものを作成する AWS IDおよびアクセス管理 OpenSearch サーバーレス コレクションへのリクエストに署名するために使用される (IAM) ロール
- 専用テナント インデックス内のドキュメントの読み取り/書き込み権限をそのテナントの IAM ロールに付与する OpenSearch サーバーレス データ アクセス ポリシーを作成します。
- テナント インデックスへの OpenSearch API リクエストは、テナント固有の IAM ロールに属する一時的な認証情報で署名されます
以下は、ID を持つ模擬テナントの OpenSearch サーバーレス データ アクセス ポリシーの例です。 t-eca0acc1-12345678910
。 このポリシーは、IAM ロールのドキュメント読み取り/書き込みアクセスを専用テナント アクセスに付与します。
次のアーキテクチャ図は、Alcion が OpenSearch サーバーレス共有コレクション アプローチを使用して Microsoft 365 リソースのインデックス作成と検索を実装した方法を示しています。
以下は、API リクエストを OpenSearch サーバーレス コレクションに送信するためのサンプル コード スニペットです。 API クライアントが、前のコード スニペットの OpenSearch サーバーレス データ アクセス ポリシーにリンクされているのと同じ IAM プリンシパルでリクエストに署名する署名者オブジェクトでどのように初期化されるかに注目してください。
まとめ
2023 年 30 月、アルシオンは、共有コレクションとテナントごとの専用インデックス モデルに基づいた検索アーキテクチャを、すべての運用環境および運用前環境に展開しました。 チームは、OpenSearch Service マネージド ドメインの拡張に特化していた複雑なコードと運用プロセスを取り除くことができました。 さらに、OpenSearch Serverless の自動スケーリング機能のおかげで、Alcion は OpenSearch のコストを XNUMX% 削減し、コスト プロファイルが順調に拡大すると予想しています。
マネージド OpenSearch Service からサーバーレス OpenSearch Service への移行において、Alcion は OpenSearch Service マネージド ドメインを最初に選択したことに利点がありました。 移行を進める際に、OpenSearch Service マネージド ドメインに使用していたものと同じ OpenSearch API とライブラリを OpenSearch サーバーレス コレクションに再利用できました。 さらに、OpenSearch サーバーレス データ アクセス ポリシーを活用するためにテナント モデルを更新しました。 OpenSearch Serverless を使用することで、テナントの分離を確保しながら、顧客の規模のニーズに簡単に適応することができました。
アルシオンについて詳しくは、こちらをご覧ください。 ウェブサイト.
著者について
ザック・ロスマンは、アルシオンの技術スタッフのメンバーです。 彼は検索および AI プラットフォームの技術責任者です。 Alcion に入社する前は、Zack は Okta のシニア ソフトウェア エンジニアとして、ディレクトリ チーム向けの中核となる従業員 ID およびアクセス管理製品を開発していました。
Niraj Jetly は、Amazon OpenSearch サーバーレスのソフトウェア開発マネージャーです。 Niraj は、Amazon OpenSearch Serverless の立ち上げを担当する複数のデータプレーン チームを率いています。 AWS に入社する前は、15 年以上にわたり、CTO、エンジニアリング担当副社長、製品管理責任者として、いくつかの製品およびエンジニアリング チームを率いていました。 ニラジ氏は、15 年に CIO オブ ザ イヤーに選ばれ、2014 年と 100 年にはトップ 2013 CIO に選ばれるなど、2016 を超えるイノベーション賞を受賞しています。いくつかのカンファレンスで頻繁に講演しており、NPR、WSJ、ボストン グローブでも引用されています。
ジョン・ハンドラー カリフォルニア州パロアルトに拠点を置くアマゾン ウェブ サービスのシニア プリンシパル ソリューション アーキテクトです。 Jon は OpenSearch および Amazon OpenSearch Service と緊密に連携し、AWS クラウドへの移行を希望する検索およびログ分析のワークロードを抱える幅広い顧客にヘルプとガイダンスを提供します。 AWS に入社する前、Jon のソフトウェア開発者としてのキャリアには、大規模な e コマース検索エンジンのコーディングに 4 年間従事していました。 ジョンは、ペンシルベニア大学で文学士号を取得し、ノースウェスタン大学でコンピュータ サイエンスと人工知能の理学修士号と博士号を取得しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
- 情報源: https://aws.amazon.com/blogs/big-data/alcion-supports-their-multi-tenant-platform-with-amazon-opensearch-serverless/
- :持っている
- :は
- $UP
- 10
- 100
- 15年
- 視聴者の38%が
- 16
- 2013
- 2014
- 2016
- 2023
- a
- できる
- 私たちについて
- アクセス
- アクセス管理
- 正確な
- 越えて
- 適応する
- さらに
- アドレス
- 管理者
- 採用
- 高度な
- 利点
- 後
- AI
- すべて
- 割り当てられました
- 許す
- 許可されて
- また
- しかし
- Amazon
- Amazon Webサービス
- an
- 分析
- 分析論
- および
- 異常検出
- API
- API
- アプローチ
- 建築
- です
- 人工の
- 人工知能
- 芸術
- AS
- At
- 魅力的
- 認証
- オート
- 自動化する
- 自動的に
- 賞を受賞
- AWS
- バース
- バック
- バックアップ
- バランシング
- ベース
- BE
- なぜなら
- き
- さ
- 利点
- の間に
- ブログ
- ボディ
- ボストン
- 両言語で
- 広い
- 負担
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- CA
- 呼ばれます
- 缶
- 機能
- 機能
- キャリア
- 場合
- カタログ
- 変更
- 選択
- 選択肢
- 選んだ
- 最高情報責任者
- クライアント
- 密接に
- クラウド
- コード
- コーディング
- 環境、テクノロジーを推奨
- コレクション
- コレクション
- コマンドと
- 複雑な
- 備えます
- 計算
- コンピュータ
- コンピュータサイエンス
- 懸念
- 会議
- 設定された
- 見なさ
- コンタクト
- コンテキスト
- コントロール
- controls
- 基本
- 費用
- コスト
- カバーする
- 作ります
- 作成
- 創造
- Credentials
- CTO
- 顧客
- Customers
- サイバー
- ダッシュボード
- データ
- データアクセス
- データ損失
- データベース
- 決めます
- 専用の
- デフォルト
- 需要
- 展開します
- 展開
- 説明
- 設計
- 設計
- 細部
- 検出
- Developer
- 開発
- 開発
- ディレクトリ
- ドキュメント
- ドキュメント
- ドメイン
- ドメイン
- ダウン
- 各
- 簡単に
- eコマース
- 効率的な
- 努力
- メール
- 使用可能
- 暗号化
- 施行
- エンジン
- エンジニア
- エンジニアリング
- エンジニア
- 確保
- 確保する
- エンタープライズグレード
- 環境
- 環境
- エラー
- エラー
- エーテル(ETH)
- さらに
- イベント
- イベント
- 進化
- 例
- 期待する
- 実際
- 特徴
- ファイナル
- 名
- フォーカス
- フォロー中
- フォワード
- 発見
- Foundation
- 頻繁な
- から
- フル
- 完全に
- 機能性
- さらに
- さらに
- 受け
- GitHubの
- 世界
- 助成
- グループ
- ゲスト
- ゲストブログ
- ガイダンス
- 持っていました
- 持ってる
- he
- 助けます
- ことができます
- 保持している
- 認定条件
- How To
- HTML
- HTTP
- HTTPS
- 何百
- IAM
- ID
- アイデンティティ
- アイデンティティとアクセス管理
- if
- 直ちに
- 実装する
- 実装
- import
- 改善します
- in
- 含まれました
- 含めて
- 増える
- index
- 索引付けされた
- インデックス
- 情報
- 初期
- 当初
- 革新的手法
- イノベーション賞
- インテリジェンス
- インタフェース
- に
- 導入
- 分離
- IT
- リーディングシート
- 繰り返し
- ITS
- 参加
- ジョン
- 旅
- JPG
- JSON
- キー
- 大
- 大規模
- 起動する
- 発射
- つながる
- リード
- リーク
- ツェッペリン
- 左
- less
- レベル
- ライブラリ
- wifecycwe
- ような
- リンク
- ローディング
- ログ
- 損失
- 作る
- 作成
- マネージド
- 管理
- マネージャー
- 管理する
- 手動で
- 多くの
- マスター
- 一致
- 五月..
- 手段
- 意味した
- 大会
- メンバー
- メトリック
- Microsoft
- Microsoft 365
- 移動します
- 移行中
- 月
- 他には?
- 最も
- ずっと
- の試合に
- 名
- 名前付き
- 必要
- 必要
- 必要とされる
- ニーズ
- ネットワーク
- ネットワークアクセス
- 新作
- ノースウエスタン大学
- 知らせ..
- 数
- オブジェクト
- of
- オファー
- オクタ
- on
- 新人研修
- ONE
- の
- オープンソース
- 操作する
- オペレーショナル
- 最適化
- 最適化
- オプション
- or
- オッス
- でる
- が
- 概要
- 自分の
- 所有権
- ページ
- パロアルト
- ピーク
- ペンシルベニア州
- 以下のために
- パフォーマンス
- 許可
- パーミッション
- 視点
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- プラグイン
- ポリシー
- 方針
- プール
- ポスト
- 防ぐ
- 前
- 主要な
- 校長
- 事前の
- ラボレーション
- プロダクト
- 製品管理
- 生産
- 製品
- プロフィール
- 守る
- 提供します
- 提供
- プロバイダー
- 提供
- 準備
- すぐに
- 範囲
- 読む
- リーダー
- 減らします
- 電話代などの費用を削減
- 参加申し込み
- 信頼性のある
- 要求
- リクエスト
- の提出が必要です
- 要件
- 必要
- 解決
- リソースを追加する。
- リソース
- 応答
- 責任
- リストア
- 結果
- return
- 再利用
- 職種
- 圧延
- 圧延
- ルーム
- ルール
- 同じ
- スケーラビリティ
- 規模
- スケーリング
- 科学
- スコープ
- を検索
- 検索エンジン
- 検索
- 二番
- 安全に
- セキュリティ
- 送信
- シニア
- サーバレス
- サービス
- サービス
- セッションに
- いくつかの
- シェアする
- shared
- 作品
- 符号
- 署名されました
- サイン
- 簡単な拡張で
- サイズ
- スニペット
- So
- ソフトウェア
- ソフトウェア開発
- ソフトウェアエンジニア
- 溶液
- ソリューション
- スピーカー
- 特定の
- 特に
- 安定性
- 安定した
- スタッフ
- 都道府県
- 手順
- ストレージ利用料
- 保存され
- 文字列
- 強い
- 強い
- スイート
- サポート
- 支援する
- サポート
- 取る
- 撮影
- チーム
- チーム
- テク
- 技術的
- 一時的
- テナント
- より
- 感謝
- それ
- アプリ環境に合わせて
- それら
- ボーマン
- 彼ら
- 三番
- この
- 脅威
- 三
- 時間
- 〜へ
- 一緒に
- 取った
- top
- トータル
- トラフィック
- 取引
- 1秒あたりのトランザクション数
- オン
- 根本的な
- ユニット
- 大学
- ペンシルベニア大学
- 更新しました
- つかいます
- 使用事例
- 中古
- ユーザー
- ユーザーインターフェース
- 使用されます
- ユーティリティ
- 価値観
- 、
- 訪問
- 可視化
- vp
- 欲しいです
- ました
- we
- ウェブ
- Webサービス
- WELL
- した
- たびに
- which
- while
- 誰
- 全体
- 以内
- 無し
- 仕事
- 共に働く
- 労働人口
- 作品
- でしょう
- 書きます
- WSJ
- 年
- 年
- ゼファーネット