Inside the Tech は、当社のレポートに付随するブログ シリーズです。 テックトークポッドキャスト。ポッドキャストのエピソード 20「アバターと自己表現」では、Roblox CEO の David Baszucki が、エンジニアリング担当シニア ディレクターの Kiran Bhat、製品担当シニア ディレクターの Mahesh Ramasubramanian、およびプリンシパル プロダクト マネージャーの Effie Goenawan と、アバターとそれを可能にするために私たちが解決している技術的課題。 Inside the Tech の今回の号では、エンジニアリング マネージャーの Ian Sachs と対談し、それらの技術的課題の XNUMX つであるアバターの表情の有効化と、(エンジン グループの下にある) アバター作成チームの取り組みがユーザーの自己表現にどのように役立っているかについて詳しく学びました。ロブロックスで。
あなたのチームが取り組んでいる最大の技術的課題は何ですか?
Roblox 上でアバターが誰かをどのように表現するかを考えるとき、私たちは通常、アバターがどのように動作するか、どのように見えるかという 2 つのことを考慮します。したがって、私のチームの主な焦点の 1 つは、アバターが人の表情を反映できるようにすることです。たとえば、誰かが笑うと、その人のアバターもそれに合わせて笑顔になります。
表情の追跡で難しいことの 1 つは、これらの表情をリアルタイムで人のデバイス上で直接キャプチャできるようにモデルの効率を調整することです。私たちは、Roblox 上でできるだけ多くの人がこの機能にアクセスできるようにすることに尽力しており、幅広いデバイスをサポートする必要があります。そのためには、デバイスが処理できる計算能力の量が重要な要素となります。私たちは、強力なデバイスを持っている人だけでなく、誰もが自分自身を表現できるようにしたいと考えています。そこで、これを可能にするために、当社初の深層学習モデルの 1 つを導入しています。
私たちが取り組んでいる 2 番目の重要な技術的課題は、ユーザーがカスタマイズできる動的なアバターを開発するためにクリエイターが使用するプロセスを簡素化することです。このようなアバターの作成は非常に複雑です。頭をモデリングする必要があり、アニメーション化したい場合は、リニア ブレンド スキニング用のジョイントやウェイトの配置など、モデルをリグするために非常に具体的な作業を行う必要があるからです。私たちはクリエイターにとってこのプロセスをもっと簡単にしたいと考えており、それを簡素化するテクノロジーを開発しています。静的モデルの構築だけに集中すればよいのです。そうなった場合、自動的にリグを取り付けてケージに入れることができます。そうすれば、顔の追跡と重ね着がすぐに機能するはずです。
これらの技術的課題に取り組むために私たちが使用している革新的なアプローチとソリューションにはどのようなものがありますか?
顔の表情に関する適切な情報を確実に取得するために、いくつかの重要な作業を行いました。それは、業界標準の FACS (フェイシャル アニメーション コントロール システム) を使用することから始まります。これらはすべての鍵です。なぜなら、これらはアバターの表情を決定するために使用されるものだからです。つまり、口の幅、目がどのくらい開くかなどです。約 50 種類の異なる FACS コントロールを使用して、望ましい顔の表情を表現できます。
画像やビデオから顔の表情を推定する機械学習アルゴリズムを構築するときは、既知のグラウンド トゥルース表現 (FACS で記述される) を含むサンプル画像を表示してモデルをトレーニングします。さまざまな表情を持つさまざまな画像をモデルに見せることで、モデルはこれまで見たことのない顔の表情を推定することを学習します。
通常、顔の追跡に取り組んでいる場合、これらの表情は人間によってラベル付けされます。最も簡単な方法は、ランドマークを使用することです。たとえば、画像上にドットを配置して、目の隅などの顔の特徴のピクセル位置をマークします。
しかし、FACS の重みは異なります。写真を見て「口が 0.9 対 0.5 開いている」とは言えないからです。これを解決するために、合成データを使用して、さまざまな角度と照明条件からの FACS ポーズでレンダリングされた 3D モデルで構成される FACS ウェイトを直接生成しています。
残念ながら、モデルを実際の顔に一般化する必要があるため、合成データのみをトレーニングすることはできません。そこで、実際のデータと合成データの組み合わせを使用してランドマーク予測タスクでモデルを事前トレーニングし、モデルが純粋に合成データを使用して FACS 予測タスクを学習できるようにします。
私たちは顔追跡がすべての人に機能することを望んでいますが、一部のデバイスは他のデバイスよりも強力です。これは、あらゆるデバイスの処理能力に動的に適応できるシステムを構築する必要があることを意味します。これは、モデルを BaseNet と呼ばれる高速近似 FACS 予測フェーズと HiFiNet と呼ばれるより正確な FACS 改良フェーズに分割することで実現しました。実行時にシステムはパフォーマンスを測定し、最適な条件下で両方のモデル フェーズを実行します。ただし、(たとえば、ローエンド デバイスが原因で) 速度低下が検出された場合、システムは最初のフェーズのみを実行します。
この技術的な作業を通じて学んだ重要なことは何ですか?
1 つは、機能を動作させることは、何かを正常にリリースするために実際に必要なことのほんの一部であるということです。作業の多くはエンジニアリングと単体テストのプロセスにあります。適切なデータのパイプラインがあるかどうかを判断する適切な方法があることを確認する必要があります。そして私たちは自問する必要があります。「この新しいモデルは実際に古いモデルよりも優れているのでしょうか?」
コアエンジニアリングを開始する前に、実験を追跡し、データセットがユーザーの多様性を表していることを確認し、結果を評価し、それらの新しい結果をデプロイしてフィードバックを取得するために導入したすべてのパイプラインが、モデルを十分なものにするために投入されます。しかし、これは非常に重要であるにもかかわらず、あまり話題にならないプロセスの一部です。
あなたのチームが最も共感するRobloxの価値はどれですか?
プロジェクトのフェーズを理解することが重要であるため、イノベーション中、特に重要な問題を解決しようとする研究では、長期的な視点を持つことが非常に重要です。しかし、イノベーションを起こす価値のある問題を特定する際には、コミュニティを尊重することも重要です。私たちは、より広範なコミュニティにとって最も価値のある問題に取り組みたいと考えているからです。たとえば、私たちは、単なる「顔追跡」ではなく、「すべての人のための顔追跡」に取り組むことを特に選択しました。何かを構築する段階が 90% に達すると、プロトタイプを機能的な機能に移行できるかどうかは、実行とプロジェクトの段階に適応するかどうかにかかっています。
Roblox とあなたのチームがどこに向かっているのかについて、最も興奮していることは何ですか?
私は人々の創造性を支援するツールの開発に常に惹かれてきました。何かを作ることは特別です。なぜなら、自分だけのものが完成するからです。私は視覚効果やさまざまな写真編集ツールに取り組んできました。数学、科学、研究、工学の洞察を利用して、人々が本当に興味深いことをできるように支援してきました。今、Roblox では、それをまったく新しいレベルに引き上げることができます。 Roblox は単なるツールではなく、創造性のプラットフォームです。そして、創造性を可能にするツールを構築できる規模は、私がこれまでに取り組んできたものよりもはるかに大きく、信じられないほどエキサイティングです。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://blog.roblox.com/2023/12/inside-tech-solving-avatar-facial-expressions/
- :は
- :not
- :どこ
- $UP
- 20
- 3d
- 50
- 9
- 90
- a
- できる
- 私たちについて
- アクセス可能な
- 熟達した
- 正確な
- 実際に
- アルゴリズム
- 整列する
- すべて
- 許可
- また
- 常に
- 量
- an
- および
- アニメーション
- アニメーション
- どれか
- 何でも
- アプローチ
- 近似
- です
- 周りに
- AS
- 頼む
- At
- 自動的に
- アバター
- アバター
- BAT
- BE
- なぜなら
- より良いです
- より大きい
- 最大の
- ブログ
- 両言語で
- より広い
- ビルド
- 建物
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- 呼ばれます
- 缶
- できる
- キャプチャー
- 最高経営責任者(CEO)
- 挑戦する
- 課題
- 選んだ
- アパレル
- 組み合わせ
- コミットした
- コミュニケーション
- コミュニティ
- 複雑な
- 計算
- 条件
- 検討
- コントロール
- controls
- 基本
- コーナー
- カップル
- 作成
- 創造
- クリエイティブ
- 創造性
- クリエイター
- 重大な
- 重大な
- データ
- デイビッド
- 深いです
- 深い学習
- 展開する
- 説明する
- 記載された
- 希望
- 検出された
- 決定
- 開発する
- 開発
- デバイス
- Devices
- 異なります
- 直接に
- 取締役
- 多様性
- do
- ありません
- そうではありません
- すること
- 行われ
- ドライブ
- 間に
- ダイナミック
- 動的に
- 容易
- 最も簡単
- 編集
- エディション
- 効果
- 効率
- エンパワー
- enable
- 有効にする
- end
- エンジン
- エンジニアリング
- 確保
- 確保する
- エピソード
- 特に
- 推定
- エーテル(ETH)
- 評価します
- さらに
- 誰も
- すべてのもの
- 例
- 興奮させる
- エキサイティング
- 実行
- 実験
- 表現します
- 表現
- 表現
- 視線
- 顔
- 顔追跡
- 顔
- フェイシャル
- 顔の追跡
- 要因
- スピーディー
- 特徴
- 特徴
- フィードバック
- 名
- 史上初の
- フォーカス
- から
- 機能的な
- 未来
- 生成する
- 取得する
- 受け
- Go
- 良い
- 陸上
- グループ
- ハンドル
- ハード
- 持ってる
- 向かって
- 助けます
- 助け
- ヒンジ
- 認定条件
- HTTPS
- 巨大な
- 人間
- i
- 識別
- if
- 画像
- 画像
- 没入できる
- 重要
- in
- 信じられないほど
- 情報
- 革新的
- 革新的手法
- 革新的な
- 内部
- 洞察
- 興味深い
- に
- IT
- ITS
- 自体
- ただ
- キー
- 既知の
- ランドマーク
- 階層化
- LEARN
- 学んだ
- 学習
- レベル
- 照明
- ような
- 場所
- 長い
- 見て
- LOOKS
- たくさん
- 機械
- 機械学習
- 主要な
- make
- 作成
- マネージャー
- 多くの
- 多くの人々
- マーク
- math
- 事態
- 手段
- 措置
- 方法
- ミラー
- モデル
- 他には?
- 最も
- 口
- ずっと
- my
- 必要
- 必要とされる
- ニーズ
- 新作
- 今
- of
- オフ
- 古い
- on
- ONE
- の
- 開いた
- 最適な
- or
- その他
- 私たちの
- 自分自身
- 部
- のワークプ
- パーセント
- パフォーマンス
- 個人
- 相
- 写真
- 写真編集
- 画像
- パイプライン
- ピクセル
- 場所
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- ポッドキャスト
- ポーズ
- 可能
- 電力
- 強力な
- 予測
- かなり
- 前に
- 校長
- 問題
- プロセス
- 処理
- 処理能力
- プロダクト
- プロダクトマネージャー
- プロジェクト
- プロジェクト(実績作品)
- プロトタイプ
- 純粋に
- 置きます
- 範囲
- むしろ
- リーチ
- リアル
- への
- 本当に
- リリース
- レンダリングされた
- 表し
- 研究
- 尊敬する
- 結果
- リグ
- 右
- ROBLOX
- ラン
- 実行
- サックス
- 言う
- 規模
- 科学
- 二番
- シニア
- シリーズ
- すべき
- 表示
- 簡素化する
- 単純化
- 速度を落とす
- 小さい
- So
- もっぱら
- ソリューション
- 解決する
- 解決
- 一部
- 誰か
- 何か
- 特別
- 特定の
- 特に
- ステージ
- start
- 開始
- 首尾よく
- そのような
- 十分な
- サポート
- 確か
- 同期。
- 合成
- 合成データ
- タックル
- タックル
- 取る
- 取り
- 取得
- トーク
- 仕事
- チーム
- テク
- 技術的
- テクノロジー
- テスト
- より
- それ
- 未来
- アプリ環境に合わせて
- それら
- 自分自身
- その後
- ボーマン
- 彼ら
- 物事
- 考える
- この
- それらの
- しかし?
- 介して
- 時間
- 〜へ
- トン
- ツール
- 豊富なツール群
- に向かって
- 追跡
- トレーニング
- 移行する
- 真実
- しよう
- 2
- 一般的に
- 下
- 独特に
- 単位
- つかいます
- users
- 値
- さまざまな
- 非常に
- ビデオ
- 詳しく見る
- ビジュアル
- 極めて重要な
- vs
- 欲しいです
- 方法
- we
- この試験は
- いつ
- which
- 全体
- ワイド
- 仕事
- 働いていました
- ワーキング
- 価値
- 貴社
- あなたの
- ゼファーネット