これは、MUSINSA のデータ サイエンティストである Jihye Park によるゲスト投稿です。
ムシンサ は韓国最大のオンライン ファッション プラットフォームの 8.4 つで、6,000 万人の顧客にサービスを提供し、4 のファッション ブランドを販売しています。 毎月のユーザー トラフィックは 90 万に達し、人口統計の XNUMX% 以上は、ファッション トレンドに敏感な XNUMX 代と若者で構成されています。 MUSINSA は、国内のトレンドを設定するプラットフォームのリーダーであり、膨大な量のデータをリードしています。
MUSINSA データ ソリューション チームは、MUSINSA ストアから収集されたデータに関連するすべてに関与します。 ログ収集からデータモデリング、モデル提供までフルスタック開発を行います。 アプリのメイン ページのライブ商品レコメンデーション サービスや、テキスト レビューから「サイズ」や「満足度」などの単語を検出して強調表示するキーワード ハイライト サービスなど、さまざまなデータ ベースの商品を開発しています。
自動レビュー画像検査プロセスにおける課題
顧客は製品を直接見ずに購入を決定するため、顧客レビューの質と量は e コマース ビジネスにとって重要です。 購入した商品のイメージ レビュー (つまり、商品の写真または商品を着用/使用している写真を含むレビュー) を書いた人にクレジットを付与し、カスタマー エクスペリエンスを向上させ、購入のコンバージョン率を高めます。 提出された写真がクレジットの基準を満たしているかどうかを判断するために、すべての写真は人間によって個別に検査されます。 たとえば、当社の基準では、「スタイル レビュー」には製品を着用または使用している人物の全身を写した写真が含まれている必要があり、「製品レビュー」には製品の全体像を提供する必要があると記載されています。 次の画像は、製品レビューとスタイル レビューの例を示しています。 写真の使用については、アップロード者の同意が得られています。
毎日 20,000 枚以上の写真が MUSINSA Store プラットフォームにアップロードされており、検査が必要です。 検査プロセスでは、画像を「パッケージ」、「製品」、「フルレングス」、または「ハーフレングス」に分類します。 画像検査プロセスは完全に手動であるため、非常に時間がかかり、ガイドラインを使用しても、分類は個人によって異なることがよくあります. この課題に直面して、私たちは使用しました アマゾンセージメーカー このタスクを自動化します。
Amazon SageMaker は、完全に管理されたインフラストラクチャ、ツール、およびワークフローを使用して、あらゆるユースケースの機械学習 (ML) モデルを構築、トレーニング、およびデプロイするための完全に管理されたサービスです。 これにより、自動画像検査サービスを迅速に実装し、良好な結果を得ることができました。
ML モデルを使用して問題に対処し、途中で Amazon SageMaker を使用した方法について詳しく説明します。
レビュー画像検査工程の自動化
画像レビュー検査プロセスを自動化するための最初のステップは、手動で画像にラベルを付け、適切なカテゴリと検査基準に一致させることでした。 例えば、「全身ショット」「上半身ショット」「パッケージショット」「商品ショット」などの分類を行いました。商品レビューの場合は、商品ショット画像のみクレジットを付与しました。 同様に、スタイル レビューの場合、全身ショットに対してクレジットが与えられました。
画像分類に関しては、モデルのトレーニングに必要な入力画像の量が非常に多いため、事前トレーニング済みの畳み込みニューラル ネットワーク (CNN) モデルに大きく依存していました。 画像から意味のある特徴を定義して分類することは、どちらもモデルのトレーニングに不可欠ですが、画像には無限の数の特徴を含めることができます。 したがって、CNN モデルを使用するのが最も理にかなっており、モデルを 10,000 以上の ImageNet データセットで事前トレーニングしてから、転移学習を使用しました。 これは、後で画像ラベルを使用してモデルをより効果的にトレーニングできることを意味しました。
Amazon SageMaker Ground Truth を使用した画像収集
ただし、モデルは上位層で新たにトレーニングする必要があるため、転移学習には独自の制限がありました。 これは、常に入力画像が必要であることを意味します。 一方、この方法はうまく機能し、レイヤー全体でトレーニングすると必要な入力画像が少なくなりました。 すでに大量のデータでトレーニングされているため、これらのレイヤーの画像から特徴を簡単に識別できました。 MUSINSA では、インフラストラクチャ全体が AWS で実行されており、顧客がアップロードした写真を Amazon シンプル ストレージ サービス (S3)。 定義したラベルに基づいてこれらの画像をさまざまなフォルダーに分類し、次の理由で Amazon SageMaker Ground Truth を使用しました。
- より一貫した結果 – 手作業のプロセスでは、XNUMX 人の検査員のミスが介入なしでモデルのトレーニングに取り込まれる可能性があります。 SageMaker Ground Truth を使用すると、複数のインスペクターに同じ画像をレビューしてもらい、最も信頼できるインスペクターからの入力が画像のラベル付けで高く評価されていることを確認できるため、より信頼性の高い結果につながります。
- 手作業が少ない – SageMaker Ground Truth の自動化されたデータのラベル付けは、信頼スコアのしきい値を適用して適用できるため、機械で自信を持ってラベル付けできない画像は人間によるラベル付けのために送信されます。 これにより、コストと精度の最適なバランスが保証されます。 詳細については、 Amazon SageMaker Ground Truth 開発者ガイド.
この方法を使用して、手動で分類された画像の数を 43% 削減しました。 次の表は、Ground Truth を採用した後、反復ごとに処理された画像の数を示しています (トレーニング データと検証データは累積データであり、他のメトリックは反復ごとにあることに注意してください)。 - 結果を直接読み込む – SageMaker でモデルを構築するとき、SageMaker Ground Truth によって生成された結果のマニフェスト ファイルを読み込んで、トレーニングに使用できます。
要約すると、10,000 枚の画像を分類するには、22 人の検査官が 980 日間必要で、費用は XNUMX ドルでした。
Amazon SageMaker Studio による画像分類モデルの開発
全身ショット、上半身ショット、パッケージ ショット、製品ショット、製品などのレビュー画像を、該当するカテゴリに分類する必要がありました。 目標を達成するために、ResNet ベースの SageMaker 組み込みモデルと Tensorflow ベースの MobileNet. 同じテスト データセットで両方をテストしたところ、TensorFlow モデルの 0.98 に対して 1 の F0.88 スコアで、SageMaker 組み込みモデルがより正確であることがわかりました。 そのため、SageMaker 組み込みモデルを決定しました。
SageMaker スタジオベースのモデル トレーニング プロセスは次のとおりです。
- SageMaker Ground Truth からラベル付き画像をインポートする
- 画像の前処理 – 画像のサイズ変更と拡張
- ロード Amazon SageMaker 組み込みモデル Docker イメージとして
- グリッド検索によるハイパーパラメーターの調整
- 転移学習を適用する
- トレーニング指標に基づいてパラメーターを再調整する
- モデルを保存します
SageMaker を使用すると、トレーニング用のサーバー群のプロビジョニングと管理について心配することなく、ワンクリックでモデルを簡単にトレーニングできます。
ハイパーパラメータの回転では、グリッド検索を使用してハイパーパラメータの最適値を決定し、トレーニング レイヤーの数 (num_layers
) とトレーニング サイクル (epochs
) 転移学習中、分類モデルの精度に影響がありました。
SageMaker Batch Transform と Apache Airflow を使用したモデル提供
私たちが構築した画像分類モデルでは、レビュー画像がクレジットの資格があるかどうかを判断するために ML ワークフローが必要でした。 以下のXNUMXつのステップでワークフローを確立しました。
- 自動的にレビューする必要があるレビュー画像とメタデータをインポートする
- 画像のラベルを推測する (推測)
- 推測されたラベルに基づいてクレジットを付与するかどうかを決定する
- 結果テーブルを本番データベースに保存する
我々は、使用しています ApacheAirflow データ製品のワークフローを管理します。 シンプルで直感的な Web UI グラフで知られる Airbnb が開発したワークフロー スケジューリングおよびモニタリング プラットフォームです。 Amazon SageMaker に対応しているため、SageMaker Studio で開発したコードを Apache Airflow に簡単に移行できます。 Apache Airflow で SageMaker ジョブを実行するには、次の XNUMX つの方法があります。
- Amazon SageMaker オペレーターの使用
- 使い方 Python演算子 : Apache Airflow で Amazon SageMaker Python SDK を使用して Python 関数を記述し、呼び出し可能なパラメーターとしてインポートします
XNUMX 番目のオプションでは、 既存の Python を維持する SageMaker Studio ですでに持っていたコード、 Amazon SageMaker Operators の新しい文法を学ぶ必要はありませんでした。
ただし、Apache Airflow を Amazon SageMaker と統合するのは初めてだったので、試行錯誤を繰り返しました。 私たちが学んだ教訓は次のとおりです。
- Boto3 アップデート: Amazon SageMaker Python SDK バージョン 2 には、Boto3 1.14.12 以降が必要です。 そのため、既存の Apache Airflow 環境の Boto3 バージョン (1.13.4) を更新する必要がありました。
- IAM ロールと権限の継承: Apache Airflow で使用される AWS IAM ロールは、Amazon SageMaker を実行できるロールを継承する必要がありました。
- ネットワーク設定: SageMaker コードを Apache Airflow で実行するには、そのエンドポイントをネットワーク接続用に構成する必要がありました。 次のエンドポイントは、使用していた AWS リージョンとサービスに基づいています。 詳細については、 AWS ウェブサイト.
api.sagemaker.ap-northeast-2.amazonaws.com
runtime.sagemaker.ap-northeast-2.amazonaws.com
aws.sagemaker.ap-northeast-2.studio
成果
レビュー画像検査プロセスを自動化することで、次のビジネス成果が得られました。
- 作業効率の向上 – 現在、サービスが適用されたカテゴリの画像の 76% が、98% の検査精度で自動的に検査されています。
- クレジット付与の一貫性 – クレジットは明確な基準に基づいて付与されます。 ただし、査察官の判断の違いにより、同様の事案でも異なるクレジットが付与される場合がありました。 ML モデルは、当社のクレジット ポリシーを適用する際により一貫してルールを適用し、一貫性を高めます。
- ヒューマンエラーの削減 – すべての人的関与には、人的エラーのリスクが伴います。 例えば、スタイルレビューの基準が商品レビューに使われるケースがありました。 当社の自動検査モデルは、これらの人為的エラーのリスクを大幅に削減しました。
Amazon SageMaker を使用して画像検査プロセスを自動化することにより、具体的には次の利点が得られました。
- モジュール化されたプロセスを通じてモデルを構築およびテストできる環境を確立 – Amazon SageMaker で最も気に入ったのは、モジュールで構成されていることです。 これにより、サービスを簡単かつ迅速に構築およびテストできます。 最初は明らかに Amazon SageMaker について学ぶ時間が必要でしたが、一度学べば、業務に簡単に適用できるようになりました。 Amazon SageMaker は、MUSINSA Store の場合のように、迅速なサービス開発を必要とするビジネスに最適であると考えています。
- Amazon SageMaker Ground Truth で信頼できる入力データを収集する – 入力データの収集は、ML の領域でのモデリング自体よりもますます重要になっています。 ML の急速な進歩により、事前にトレーニングされたモデルは、追加のチューニングを行うことなく、以前よりもはるかに優れたパフォーマンスを発揮できます。 AutoML により、ML モデリング用のコードを記述する必要もなくなりました。 したがって、質の高い入力データを収集する機能はこれまで以上に重要であり、Amazon SageMaker Ground Truth などのラベル付けサービスを使用することが重要です。
まとめ
今後は、モデルの提供だけでなく、自動バッチによるモデルのトレーニングも自動化する予定です。 新しいラベルや画像が追加されたときに、モデルが最適なハイパーパラメーターを自動的に特定するようにします。 さらに、前述の自動トレーニング方法に基づいて、モデルのパフォーマンス、つまりリコールと精度を改善し続けます。 モデルのカバレッジを拡大して、より多くのレビュー画像を検査し、より多くのコストを削減し、より高い精度を達成できるようにします。これらはすべて、顧客満足度の向上につながります。
詳しい使い方については アマゾンセージメーカー ML を使用してビジネス上の問題を解決するには、 製品のウェブページ. そして、いつものように、最新情報を入手してください。 AWS 機械学習ニュースはこちら。
この投稿の内容と意見はサードパーティの作成者のものであり、AWSはこの投稿の内容または正確性について責任を負いません。
著者について
パク・ジヘ MUSINSA のデータ サイエンティストで、データ分析とモデリングを担当しています。 彼女は、e コマースなどのユビキタス データを扱うのが大好きです。 彼女の主な役割はデータ モデリングですが、データ エンジニアリングにも関心があります。
キム・ソンミン アマゾン ウェブ サービスのシニア ソリューション アーキテクトです。 彼は新興企業と協力して、ビジネスニーズに合わせて AWS でソリューションを設計、設計、自動化、および構築しています。 彼は AI/ML と分析を専門としています。
- '
- "
- 000
- 100
- 107
- 98
- NEW
- のAirbnb
- すべて
- Amazon
- アマゾンセージメーカー
- Amazon SageMakerグラウンドトゥルース
- Amazon Webサービス
- 分析
- 分析論
- アパッチ
- AREA
- 自動化
- AWS
- BEST
- ボディ
- ブランド
- ビルド
- 建物
- ビジネス
- ビジネス
- 例
- 挑戦する
- 分類
- CNN
- コード
- 収集
- 信頼
- Connections
- 同意
- コンテンツ
- 続ける
- 変換
- たたみ込みニューラルネットワーク
- コスト
- クレジット
- Applied Deposits
- 顧客満足体験
- 顧客満足
- Customers
- データ
- データ分析
- データサイエンティスト
- 人口動態
- 設計
- 詳細
- 開発する
- Developer
- 開発
- デッカー
- eコマース
- エンジニアリング
- 環境
- 等
- 体験
- ファッション
- 特徴
- FRBは
- 名
- 初回
- 艦隊
- フォワード
- フル
- function
- 与え
- 目標
- 良い
- グリッド
- ゲスト
- ゲストのポスト
- ガイドライン
- こちら
- 認定条件
- How To
- HTTPS
- 人間
- IAM
- 識別する
- 画像
- ImageNet
- 改善
- 含めて
- 増える
- 情報
- インフラ
- IT
- Jobs > Create New Job
- 韓国
- ラベリング
- ラベル
- つながる
- 主要な
- LEARN
- 学んだ
- 学習
- 負荷
- 機械学習
- メトリック
- ML
- モデリング
- モジュラー
- モニタリング
- すなわち
- ネットワーク
- ニューラル
- ニューラルネットワーク
- ニュース
- オンライン
- 業務執行統括
- 意見
- オプション
- その他
- パフォーマンス
- プラットフォーム
- プラットフォーム
- ポリシー
- 精度
- プロダクト
- 生産
- 製品
- 購入
- Python
- 品質
- 理由は
- 減らします
- 結果
- レビュー
- レビュー
- リスク
- ルール
- ラン
- セージメーカー
- SDDK
- を検索
- センス
- サービス
- サービング
- 簡単な拡張で
- So
- ソリューション
- 解決する
- サウス
- 韓国
- 専門にする
- スタートアップ
- 米国
- 滞在
- ストレージ利用料
- 店舗
- 提出された
- サポート
- 十代の若者たち
- テンソルフロー
- test
- 時間
- 豊富なツール群
- トラフィック
- トレーニング
- トレンド
- トライアル
- ui
- アップデイト
- us
- ボリューム
- ウェブ
- Webサービス
- 誰
- 言葉
- 仕事
- ワークフロー
- 作品