編集者による画像
AI アプリケーションは、前例のないペースで進歩を推進できる比類のない計算能力を備えています。 それにもかかわらず、これらのツールはその運用においてエネルギー集約型のデータセンターに大きく依存しており、その結果、二酸化炭素排出量に大きく寄与する懸念すべきエネルギー感度の欠如が生じています。 驚くべきことに、これらの AI アプリケーションはすでにかなりの割合を占めています。 2.5〜3.7 世界の温室効果ガス排出量に占める割合は、航空業界からの排出量を上回っています。
そして残念ながら、この二酸化炭素排出量は速いペースで増加しています。
現在、「測定できないものは管理できない」というピーター・ドラッカーの知恵によって強調されているように、機械学習アプリケーションの二酸化炭素排出量を測定することが急務となっています。 現時点では、AI が環境に与える影響の定量化は明確さが著しく欠如しており、正確な数値は得られていません。
AI 業界のリーダーは、二酸化炭素排出量の測定に加えて、二酸化炭素排出量の最適化にも積極的に注力する必要があります。 この XNUMX つのアプローチは、AI アプリケーションを取り巻く環境上の懸念に対処し、より持続可能な前進を確実にするために不可欠です。
機械学習の利用が増えるとデータセンターの増設が必要になりますが、その多くは電力を大量に消費するため、二酸化炭素排出量が大幅に増加します。 データセンターによる世界の電力使用量は、 0.9パーセント1.3 2021インチ
A 2021研究 この使用量は 1.86 年までに 2030% に増加すると推定されています。 図 データセンターによるエネルギー需要の増加傾向を表しています
© データセンターのエネルギー消費動向と使用割合
特に、エネルギー消費量が多ければ多いほど、二酸化炭素排出量も増加します。 データセンターは処理中に発熱し、過熱により障害が発生したり、機能が停止したりする可能性があります。 したがって、冷却が必要となり、追加のエネルギーが必要になります。 その周り 40パーセント データセンターで消費される電力のうち、空調用が占めています。
AI の使用量が増加していることを考慮すると、これらのツールの炭素強度を考慮する必要があります。 現在、この主題に関する研究は少数のモデルの分析に限定されており、前述のモデルの多様性には十分に対応していません。
ここでは、AI システムの炭素強度を計算するための進化した方法論といくつかの効果的なツールを紹介します。
ソフトウェア炭素強度 (SCI) 標準 AI システムの炭素強度を推定するための効果的なアプローチです。 帰属炭素会計アプローチを採用する従来の方法論とは異なり、結果論的なコンピューティング アプローチを使用します。
結果的アプローチでは、追加の単位を生成する決定などの介入または決定から生じる排出量の限界変化を計算しようとします。 一方、帰属とは、会計上の平均強度データまたは排出量の静的インベントリを指します。
A 紙 Jesse Doge らによる「クラウド インスタンスにおける AI の炭素強度の測定」について。 は、より情報に基づいた研究を導入するためにこの方法論を採用しました。 AI モデルのトレーニングの大部分はクラウド コンピューティング インスタンス上で実行されるため、AI モデルの二酸化炭素排出量を計算するための有効なフレームワークとなり得ます。 この論文では、次のような推定のために SCI 式を改良しています。
これは以下から洗練されます。
から派生する
ここで、
E: ソフトウェア システム、主に特殊な ML ハードウェアであるグラフィック処理ユニット (GPU) によって消費されるエネルギー。
I: データセンターに電力を供給するグリッドによる位置ベースの限界炭素排出量。
M: 埋め込みまたは埋め込まれた炭素。ハードウェアの使用、作成、廃棄時に排出される炭素です。
R: 機能単位。この場合は XNUMX つの機械学習トレーニング タスクです。
C= O+M、O は E*I に等しい
この論文では、この式を使用して、単一のクラウド インスタンスの電力使用量を推定しています。 深層学習に基づく ML システムでは、主な電力消費は GPU によるものであり、この計算式には GPU も含まれています。 彼らは、12 つの Intel Xeon E5-2630 v3 CPU (2.4GHz) と 256GB RAM (16x16GB DIMM) を備えた汎用サーバーで XNUMX つの NVIDIA TITAN X GPU (XNUMX GB) を使用して BERT ベースのモデルをトレーニングし、この式の適用を実験しました。 次の図は、この実験の結果を示しています。
© エネルギー消費とサーバーのコンポーネント間での分割
GPU はエネルギー消費量の 74% を占めます。 この論文の著者らは依然として過小評価であると主張していますが、GPU の導入は正しい方向への一歩です。 これは従来の推定手法の焦点ではありません。つまり、二酸化炭素排出量の主な要因が推定で見落とされているということです。 明らかに、SCI は炭素強度のより健全で信頼性の高い計算を提供します。
クラウドにより柔軟でアクセスしやすく、コスト効率が高くなるため、AI モデルのトレーニングはクラウド コンピューティング インスタンスで行われることがよくあります。 クラウド コンピューティングは、AI モデルを大規模に展開してトレーニングするためのインフラストラクチャとリソースを提供します。 そのため、クラウド コンピューティングでのモデル トレーニングが徐々に増加しています。
クラウド コンピューティング インスタンスの炭素強度をリアルタイムで測定して、緩和の取り組みに適した領域を特定することが重要です。 エネルギー単位あたりの時間ベースおよび場所固有の限界排出量を計算すると、運用上の炭素排出量の計算に役立ちます。 2022紙.
An オープンソース ツールのほか、クラウド インスタンスの影響を計算するために、Cloud Carbon Footprint (CCF) ソフトウェアも利用できます。
AI システムの炭素強度を最適化する 7 つの方法を次に示します。
1. より優れた、より効率的なコードを作成する
最適化されたコードにより、次のようなエネルギー消費を削減できます。 30パーセント メモリとプロセッサの使用量が減少するため。 炭素効率の高いコードを作成するには、実行を高速化するためのアルゴリズムの最適化、不必要な計算の削減、より少ない電力でタスクを実行するためのエネルギー効率の高いハードウェアの選択が含まれます。
開発者はプロファイリング ツールを使用して、コード内のパフォーマンスのボトルネックと最適化が必要な領域を特定できます。 このプロセスにより、ソフトウェアのエネルギー効率が向上します。 また、利用可能なリソースに適応してエネルギー効率の高い実行パスを優先するようにコードを設計する、エネルギーを意識したプログラミング手法の実装も検討してください。
2. より効率的なモデルを選択する
適切なアルゴリズムとデータ構造を選択することが重要です。 開発者は、計算の複雑さを最小限に抑え、その結果としてエネルギー消費を最小限に抑えるアルゴリズムを選択する必要があります。 より複雑なモデルでは 3 ~ 5% の改善しか得られないが、トレーニングに 2 ~ 3 倍の時間がかかる場合。 次に、よりシンプルで高速なモデルを選択します。
モデルの蒸留は、大規模なモデルを小さなバージョンに圧縮して、重要な知識を保持しながらモデルをより効率的にするためのもう XNUMX つの手法です。 これは、大きなモデルを模倣するように小さなモデルをトレーニングするか、ニューラル ネットワークから不要な接続を削除することによって実現できます。
3. モデルパラメータを調整する
モデルのパフォーマンス (精度など) とエネルギー消費のバランスをとる二重目的最適化を使用して、モデルのハイパーパラメーターを調整します。 この二重目的のアプローチにより、一方がもう一方のために犠牲にされることがなくなり、モデルの効率が向上します。
などのテクニックを活用する パラメータ効率の高い微調整 (PEFT) その目標は、従来の微調整と同様のパフォーマンスを達成することですが、トレーニング可能なパラメーターの数は減りました。 このアプローチでは、事前トレーニングされた大規模言語モデル (LLM) の大部分をフリーズしたままにして、モデル パラメーターの小さなサブセットを微調整することが含まれ、その結果、計算リソースとエネルギー消費が大幅に削減されます。
4. データを圧縮し、低エネルギーのストレージを使用する
データ圧縮技術を実装して、送信されるデータ量を削減します。 圧縮されたデータは転送に必要なエネルギーが少なく、ディスク上の占有スペースも少なくなります。 モデルの提供段階では、キャッシュを使用すると、オンライン ストレージ層に対する呼び出しが減り、その結果、
さらに、適切なストレージ テクノロジーを選択すると、大きなメリットが得られる可能性があります。 たとえば。 AWS Glacier は効率的なデータ アーカイブ ソリューションであり、データに頻繁にアクセスする必要がない場合は、S3 を使用するよりも持続可能なアプローチとなります。
5. よりクリーンなエネルギーでモデルをトレーニングする
モデルのトレーニングにクラウド サービスを使用している場合は、計算を操作するリージョンを選択できます。 この目的のために再生可能エネルギー源を採用している地域を選択すると、排出量を最大で削減できます。 30回。 AWS ブログ投稿 ビジネスの最適化と持続可能性の目標の間のバランスを概説します。
もう XNUMX つのオプションは、モデルを実行する適切な時間を選択することです。 一日の特定の時間帯。 エネルギーはよりクリーンであり、そのようなデータは、次のような有料サービスを通じて取得できます。 電力マップ、さまざまな地域の電力の炭素強度に関するリアルタイム データと将来予測へのアクセスを提供します。
6. モデルのトレーニングに専用のデータセンターとハードウェアを使用する
より効率的なデータセンターとハードウェアを選択すると、炭素排出量に大きな違いが生じます。 ML 固有のデータセンターとハードウェアは、 1.4-2 一般的なものと比べて2~5倍の省エネ効果があります。
7. AWS Lambda、Azure Functions などのサーバーレス デプロイメントを使用する
従来の導入では、サーバーを常時稼働させる必要があり、これは 24 時間 7 日エネルギーを消費することを意味します。 AWS Lambda や Azure Functions などのサーバーレス デプロイメントは、炭素強度が最小限であれば問題なく機能します。
AI セクターは急激な成長を遂げており、ビジネスや日常生活のあらゆる側面に浸透しています。 しかし、この拡大には代償が伴います。二酸化炭素排出量の急増により、地球の気温上昇をわずか 1℃ に抑えるという目標から遠ざかる恐れがあります。
この二酸化炭素排出量は現在だけの問題ではありません。 その影響は世代を超えて広がり、その創造に責任を持たない人々に影響を与える可能性があります。 したがって、AI 関連の炭素排出量を軽減し、その可能性を活用するための持続可能な方法を模索するための断固とした行動をとることが不可欠となっています。 AI の恩恵が環境や将来世代の幸福を犠牲にしないようにすることが重要です。
アンクル・グプタ 持続可能性、輸送、電気通信、インフラストラクチャの分野にわたる XNUMX 年の経験を持つエンジニアリング リーダーです。 現在、Uber でエンジニアリング マネージャーの役職を務めています。 この役割において、彼は Uber の車両プラットフォームの進歩を推進する上で極めて重要な役割を果たし、最先端の電気自動車とコネクテッドビークルの統合を通じてゼロエミッションの未来に向けた取り組みを主導しています。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.kdnuggets.com/greening-ai-7-strategies-to-make-applications-more-sustainable?utm_source=rss&utm_medium=rss&utm_campaign=greening-ai-7-strategies-to-make-applications-more-sustainable
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 1.3
- 12
- 視聴者の38%が
- 2021
- 2030
- 7
- 9
- a
- アクセス
- アクセス
- アクセス可能な
- 会計処理
- 会計
- 精度
- 達成
- ACM
- 取得
- 越えて
- 行動
- 積極的に
- 適応する
- 添加
- NEW
- 住所
- アドレッシング
- 十分に
- アドバンス
- 影響
- AI
- AIモデル
- AIシステム
- 空気
- 空調
- AL
- アルゴリズム
- 既に
- また
- しかし
- 常に
- Amazon
- 量
- an
- 分析
- および
- とインフラ
- 別の
- 申し込み
- アプローチ
- です
- エリア
- 周りに
- AS
- At
- 達します
- 試み
- 著者
- 利用できます
- 通り
- 平均
- 航空
- 離れて
- AWS
- AWSラムダ
- Azure
- ベース
- BE
- くま
- になる
- になる
- さ
- 利点
- より良いです
- の間に
- ボトルネック
- 持って来る
- ビジネス
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- キャッシュ
- 計算する
- コール
- 缶
- 機能
- カーボン
- 炭素排出量
- カーボンフットプリント
- 場合
- センター
- 一定
- 変化する
- チャージ
- 選択する
- 主張した
- クレーム
- 明瞭
- クリーナー
- クラウド
- クラウドコンピューティング
- コード
- コード
- 来ます
- comes
- 商品
- 複雑な
- 複雑さ
- コンポーネント
- 計算
- 計算的
- 計算
- 計算
- コンピューティング
- 懸念
- について
- 懸念事項
- 実施
- 交流
- Connections
- 結果的
- その結果
- 検討
- 消費
- 消費
- 貢献する
- 寄稿者
- 従来の
- 創造
- 重大な
- 現在
- 最先端
- daily
- データ
- データセンター
- データセンター
- 中
- 十年
- 決定
- 決定的な
- 減少した
- 深いです
- 深い学習
- 需要
- 展開します
- 配備
- 設計
- 開発者
- 違い
- 異なります
- 方向
- 廃棄
- 多様性
- do
- ありません
- ドージェ
- ドメイン
- 行われ
- 運転
- 原因
- 間に
- e
- E&T
- 効果的な
- 効率的な
- 努力
- 電気
- 電気
- 電力消費
- 電気使用量
- 埋め込まれた
- 排出量
- 強調
- 採用
- 従業員
- エネルギー
- エネルギー消費
- エンジニアリング
- 確保
- 確実に
- 確保する
- 環境
- 環境の
- 環境問題
- 等しいです
- 本質的な
- 推定
- 推定
- エーテル(ETH)
- さらに
- あらゆる
- 進化
- 実行
- 存在
- 拡大
- 体験
- 体験
- 実験
- 探る
- 指数関数
- 指数関数的成長
- 伸ばす
- 余分な
- スピーディー
- 速いです
- 欠陥のある
- 少数の
- フィギュア
- フィギュア
- 終わり
- フレキシブル
- フォーカス
- フォロー中
- フットプリント
- 式
- フォワード
- フレームワーク
- 頻繁に
- から
- 凍結
- 機能的な
- 機能します
- 機能
- さらに
- 未来
- 利益
- GAS
- 生成する
- 世代
- グローバル
- 目標
- 目標
- GPU
- 徐々に
- 温室効果ガス
- 温室効果ガスの排出
- グリッド
- 成長性
- Hardware
- 利用する
- 持ってる
- he
- 重く
- 助けます
- それゆえ
- より高い
- 保持している
- しかしながら
- HTTPS
- 巨大な
- 飢えました
- 識別する
- IEA
- if
- 影響
- 命令的
- 実装
- 重要
- 改善
- in
- 含まれました
- 包含
- 増える
- 増加した
- 増加
- の増加
- 産業を変えます
- 情報に基づく
- インフラ関連事業
- インスタンス
- 統合
- インテル
- 介入
- に
- 関与
- IT
- ITS
- JPG
- ただ
- KDナゲット
- 保管
- 知識
- 欠如
- 言語
- 大
- 層
- つながる
- リーダー
- リーダー
- 主要な
- 学習
- less
- ような
- 限定的
- ロケーションベース
- 下側
- 機械
- 機械学習
- 製
- 主要な
- 大多数
- make
- 作る
- 作成
- 管理します
- マネージャー
- 多くの
- 五月..
- 手段
- だけど
- 計測
- メモリ
- 方法論
- 方法論
- 最小限の
- 最小限に抑えます
- 軽減する
- 緩和
- ML
- モデル
- 他には?
- もっと効率的
- しなければなりません
- 必要
- ニーズ
- ネットワーク
- ニューラル
- ニューラルネットワーク
- それにもかかわらず
- いいえ
- 数
- Nvidia
- 占める
- of
- オファー
- 頻繁に
- on
- ONE
- もの
- オンライン
- の
- 操作する
- オペレーショナル
- 業務執行統括
- タイムリー
- 最適化
- 最適化
- 最適化
- オプション
- or
- その他
- 輪郭
- 平和
- 支払われた
- 紙素材
- パラメータ
- path
- 以下のために
- パーセント
- 実行する
- パフォーマンス
- Peter Bauman
- 相
- 選ぶ
- 極めて重要な
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 演劇
- 位置
- 所有する
- 潜在的な
- 電力
- 電源
- 正確な
- 予測
- 現在
- を押す
- 主に
- 優先順位をつける
- プロセス
- 処理
- プロセッサ
- プロファイリング
- プログラミング
- 進捗
- 推進します
- は、大阪で
- 目的
- RAM
- への
- リアルタイムデータ
- 減らします
- 電話代などの費用を削減
- 縮小
- 削減
- 指し
- 洗練された
- に対する
- 地域
- 地域
- 信頼性のある
- 頼る
- 除去
- 再生可能な
- 再生可能エネルギー
- 影響
- 表し
- 必要とする
- 必要
- 研究
- リソース
- 責任
- 結果
- 結果として
- 結果
- 保持
- 右
- 職種
- ラン
- s
- 犠牲にする
- 前記
- 規模
- SCI
- セクター
- 選択
- 感度
- サーバレス
- サービス
- サービング
- シェアする
- すべき
- 作品
- 重要
- 著しく
- 同様の
- から
- 小さい
- より小さい
- ソフトウェア
- 溶液
- ソース
- スペース
- 緊張
- 専門の
- split
- 舵を取る
- 手順
- まだ
- Force Stop
- ストレージ利用料
- 作戦
- 構造
- テーマ
- かなりの
- そのような
- 適当
- 凌駕する
- 周囲の
- 3つの柱
- 持続可能な
- システム
- T
- 取る
- 取り
- 仕事
- タスク
- 技術
- テクニック
- テクノロジー
- テレコミュニケーション
- より
- それ
- アプリ環境に合わせて
- それら
- その後
- そこ。
- それによって
- したがって、
- ボーマン
- 彼ら
- この
- それらの
- 脅迫する
- 介して
- 従って
- 時間
- <font style="vertical-align: inherit;">回数</font>
- タイタン
- 〜へ
- ツール
- 豊富なツール群
- に向かって
- 伝統的な
- トレーニング
- 訓練された
- トレーニング
- 転送
- 輸送サービス
- トレンド
- 2
- ユーバー
- 残念ながら
- 単位
- 異なり、
- 圧倒的な
- 前例のない
- us
- 使用法
- つかいます
- 使用されます
- 有効な
- 車
- 極めて重要な
- 方法
- この試験は
- 一方
- which
- while
- 誰
- その
- なぜ
- 意志
- 知恵
- 仕事
- 書きます
- 書き込み
- X
- 収量
- 貴社
- あなたの
- ゼファーネット