Suresh は、半導体、人工知能、サイバーセキュリティ、モノのインターネット、ハードウェア、ソフトウェアなどに関する深い専門知識を持つテクノロジー幹部です。彼はこの業界で 20 年間を過ごし、最近ではオープンソース ゼロのエグゼクティブ ディレクターを務めていました。アブダビのテクノロジー・イノベーション・インスティテュートや、インテル、クアルコム、メディアテックなどのフォーチュン 500 半導体企業でさまざまな指導的役割を担い、トラスト・チップの開発に携わり、高性能、エネルギー効率の高い、ポスト量子セキュアで安全なデバイスの研究開発に携わりました。データセンター、クライアント、スマートフォン、ネットワーキング、IoT、AI/ML 市場向けのマイクロチップ/システムオンチップ (SoC)/アクセラレータ。彼は Falcon LLM (huggingface で 1 位にランク付け) に貢献し、カスタム AI ハードウェア プラットフォーム (中止 – 優先順位が変更) のリード アーキテクトでした。彼は 15 件以上の米国特許を取得しており、20 以上のカンファレンスで出版/発表を行っています。
また、Suresh 氏は、RISC-V International で指導的な立場を積極的に務めており、RISC-V 機密コンピューティング機能を開発する Trusted Computing グループの議長を務め、AI/ML ワークロード向けの RISC-V ハードウェア アクセラレーションを開発する AI/ML グループの議長を務めています。 ChatGPT 種類のアプリケーションで使用される Transformer Large Language Model。 また、スタートアップやベンチャーキャピタルに対して、投資意思決定のサポート、製品戦略、テクノロジーデューデリジェンスなどについてアドバイスを行っています。
INSEAD で MBA、ビルラ工科大学ピラニ校で修士号、MIT でシステム エンジニアリングの証明書、スタンフォードで AI の証明書、テュフズードで自動車の機能安全証明書を取得しました。
あなたの会社について教えてください
「マスティシュカ AI」 (Mastiṣka はサンスクリット語で脳を意味します) は、明日の生成 AI ユースケースに向けて基盤モデルをより効率的に実行するための脳のようなコンピューターの構築に焦点を当てた AI 企業です。
どのような問題を解決していますか?
AI/GenAI の利点を考慮すると、その需要は増加するのは間違いなく、地球に対する副作用も同様です。 地球上での AI の副作用を軽減または無力化するにはどうすればよいでしょうか? 二酸化炭素回収と原子力発電は正しい方向に進んでいます。 しかし、私たちは AI のやり方を根本的に再考する必要があります。大量の行列の乗算を行うのは間違った方法なのでしょうか?
私たちの脳は、10 W 以下で多くのタスクを並行して学習して実行できますが、なぜこれらの AI システムはモデルのトレーニングに数十メガワットを消費するのでしょうか?
おそらく将来は、人間の脳に最も近いニューロモーフィック アーキテクチャやスパイク ニューラル ネットワーク ベースのトランスフォーマーなどのエネルギー効率の高いアーキテクチャが登場し、消費エネルギーが 100 ~ 1000 分の XNUMX に削減され、AI の使用コストが削減され、AI が民主化され、惑星。
AI に関して私たちが直面している現在の課題、つまり a) 可用性、b) アクセシビリティ、c) 手頃な価格、d) 環境の安全性と、それらに取り組むためのいくつかの推奨事項。
将来を予測すると、いくつかの有用な AGI 概念が映画「HER」で実証されます。そこでは、天然で感情を理解し、共感を示し、仕事では素晴らしい副操縦士である会話エージェントである「サマンサ」というキャラクターが、走り続けます。ハンドヘルド デバイスを XNUMX 日中使用している場合は、今すぐに以下の課題に対処する必要があるかもしれません。
問題 1: LLM のトレーニングには 150 万ドルから 10 万ドル以上の費用がかかり、より豊かな資金を持っている人だけが AI を開発できます。 さらに、推論コストも膨大です (Web 検索の 10 倍のコストがかかります)
—> 人類の利益のために AI を民主化するには、モデル/ハードウェアのエネルギー効率を改善する必要があります。
問題 2: 会話エージェントやレコメンデーション システム用に巨大な AI モデルを実行すると、電力消費と冷却の点で環境に負荷がかかります。
—> 子供たちのために地球を守るために、モデル/ハードウェアのエネルギー効率を向上させる必要があります。
問題 3: 人間の脳はマルチタスクを実行できる能力を備えていますが、消費電力はメガワットではなく 10 ワットのみです。
—> おそらく、通常の行列乗算器ではなく、脳のような機械をより速く構築する必要があるでしょう。
人類は持続可能なイノベーションによってのみ繁栄することができ、イノベーションの名の下にすべての森林を伐採し、海を沸騰させることによってのみ繁栄することができます。 私たちは子供たちと将来の世代の幸福のために地球を守らなければなりません…
どの応用分野が最も得意ですか?
現在の GPU ベースのソリューションと比較して 50 ~ 100 倍のエネルギー効率で、Transformer (および将来のニューラル アーキテクチャ) ベースの基盤モデルのトレーニングと推論を実現します。
顧客が夜眠れない理由は何ですか?
現在他の製品を使用しているお客様の問題:
膨大な言語モデルをトレーニングするための電力消費量は桁外れに高く、たとえば、13 GPU 上の 390B テキスト トークンで 200B パラメーターの LLM を 7 日間トレーニングするには、151,744 ドルかかります (出典: HuggingFace の新しいトレーニング クラスター サービス ページ – https://lnkd.in/g6Vc5cz3)。 そして、100+B パラメータを持つさらに大きなモデルの場合、トレーニングだけで 10 万ドル以上かかります。 その後、新しいプロンプト リクエストが到着するたびに推論に対して料金を支払います。
カリフォルニア大学リバーサイド校の研究者らは、冷却のための水の消費量について、ChatGPT のようなサービスが環境に及ぼす影響を推定しており、質問するたびに 500 ミリリットルの水 (16 オンスの水筒の量に近い) を飲み込むと述べています。 5 ~ 50 の一連のプロンプトまたは質問。 範囲は、サーバーが配置されている場所と季節によって異なります。 この推定値には、データセンターに電力を供給する発電所の冷却など、企業が計測していない間接的な水の使用量も含まれている。 (ソース: https://lnkd.in/gybcxX8C)
現在の製品の非顧客にとっての問題:
ハードウェアを購入するための設備投資をする余裕がない
クラウドサービスを利用する余裕がない
AI を革新したり活用したりできない — 競争上の優位性を排除するサービス モデルに行き詰まっている
競争環境はどのようなものですか?また、どのように差別化を図りますか?
- 専用の ASIC もこのセグメントで競合しているにもかかわらず、GPU がトレーニング領域を独占しています
- クラウドとエッジの推論には利用可能なオプションが多すぎます
デジタル、アナログ、フォトニックなど、人々は同じ問題に取り組もうとしています。
AI/ML 用のチップ アーキテクチャの現状について、つまり、現時点で最も重要なトレンドと機会は何だと考えているかについて、ご意見をお聞かせいただけますか?
次の傾向:
トレンド1: 10 年前、ハードウェア対応の深層学習が隆盛を極めましたが、現在は同じハードウェアが進歩を妨げています。 モデルを実行するためのハードウェアと電気代が膨大なため、ハードウェアにアクセスすることが困難になっています。 潤沢な資金を持つ企業だけがこれらを買う余裕があり、独占状態になりつつある。
トレンド2: これらのモデルが登場した以上、実用化することで推論負荷が増大し、AIアクセラレータを搭載したCPUが再び脚光を浴びる可能性がある。
トレンド3: 新興企業は、従来の IEEE 形式 (対数ベースや実証ベースなど) では優れているものの、十分ではない、代替の浮動小数点数表現を考え出そうとしています。 PPA$ 設計空間の最適化は、XNUMX つを最適化しようとして、もう XNUMX つがダメになると爆発的に進みます。
トレンド4: 業界は、AI のサービスベースのモデルから、自社の敷地内で独自のプライベート モデルをホストすることに移行しつつありますが、供給不足や制裁などにより、ハードウェアへのアクセスが課題となっています。
現在の状況:
10 年前にはハードウェアとデータの可用性が AI の成長を促進しましたが、現在では同じハードウェアが AI の成長を阻害しているようなものです — 説明しましょう
CPU のパフォーマンスが悲惨で、GPU が AI 用に再利用されて以来、多くのことが起こりました
企業は AI/ML の 4 つのセグメント、つまり 1) クラウド トレーニング、2) クラウド推論、3) エッジ推論、4) エッジ トレーニング (プライバシーに敏感なアプリケーション向けのフェデレーテッド ラーニング) に取り組んできました。
デジタル&アナログ
トレーニング面 - 従来の CPU (汎用性) に欠けている GPU、RISC-V ベースの顧客アクセラレータ、ウェーハ スケール チップ (850K コア) などを扱う多数の企業。 推論側 – NN アクセラレータは、スマートフォン、ラップトップ、その他のエッジ デバイスであらゆるメーカーから入手できます。
アナログメモリスタベースのアーキテクチャも少し前に登場しました。
CPU は、行列拡張などの高速化によって推論を強化すれば、非常に優れた推論能力を発揮できると考えています。
RISC-V の側面:
RISC-V 側では、変圧器のワークロードで起こり得るボトルネックを排除するために、行列演算やその他の非線形演算用のアクセラレータを開発しています。 フォン ノイマンのボトルネックも、メモリをコンピューティングに近づけて設計することで解決され、最終的には AI アクセラレーションを備えた CPU が推論に最適な選択肢になります。
機会:
基礎モデルの市場を埋めるユニークな機会が存在します。 例 – OpenAI は、ChatGPT サービスを推進し続けるのに十分な AI コンピューティング (GPU) を確保できなかったと述べています…そしてニュースでは、通常のインターネット検索の 10 倍の電気代と、システムを冷却するために 500 ml の水が必要であると報告しています。あらゆるクエリに対して。 ここには埋めるべき市場があります。それはニッチではなく、上記のすべての課題 (a) 可用性、b) アクセシビリティ、c) 手頃な価格、d) 環境安全に取り組む AI を民主化する市場全体です。
どのような新しい機能/テクノロジーに取り組んでいますか?
私たちは、神経形成技術を活用してコンピューターのような脳を構築し、利用可能なオープン フレームワークの多くを再利用して、エネルギー効率の高いハードウェアを活用するモデルを調整しています。
今後 12 ~ 18 か月で AI/ML セクターがどのように成長または変化すると思いますか?
GPU の需要が低迷し (価格が 30 ドルほど)、さらに世界の一部の地域ではこれらの GPU の購入が制裁に直面しているため、世界の一部の地域では GPU へのアクセスがなければ AI 研究開発が凍結されていると感じています。 代替ハードウェア プラットフォームが市場を獲得しようとしています。
おそらくモデルは縮小し始めるでしょう - カスタムモデル、さらには根本的に情報密度が増加するでしょう
同じ質問ですが、今後 3 ~ 5 年間の成長と変化はどうですか?
a) AI 拡張機能を備えた CPU が AI 推論市場を獲得する
b) モデルは機敏になり、情報密度が 16% から 90% に向上するにつれてパラメータが低下します。
c) エネルギー効率が向上し、CO2 排出量が削減される
d) 新しいアーキテクチャが登場する
e) ハードウェアコストとエネルギーコストが下がるため、小規模企業がモデルを作成およびトレーニングするための参入障壁が手頃な価格になります
f) 人々は AGI 以前の瞬間について話しますが、私のベンチマークは、映画「her」の特徴的なサマンサ (会話型 AI) です。スケールアップの高額なコストを考慮すると、おそらく可能性は低いでしょう。
AI/ML 分野の成長に影響を与えたり、成長を制限したりする可能性のある課題にはどのようなものがありますか?
a) ハードウェアへのアクセス
b) エネルギーコストと冷却コストと環境への悪影響
また読む:
CEO インタビュー: Pragmatic の David Moore
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://semiwiki.com/ceo-interviews/338703-ceo-interview-suresh-sugumar-of-mastiska-ai/
- :持っている
- :は
- :not
- :どこ
- $UP
- 1
- 10
- 150
- 20
- 20年
- 200
- 50
- 500
- 7
- a
- できる
- 私たちについて
- 上記の.
- アブダビ
- 加速
- 加速器
- アクセス
- 接近性
- 積極的に
- 住所
- 対処する
- アドレッシング
- 利点
- 業務
- 再び
- エージェント
- エージェント
- AGI
- 前
- AI
- AIモデル
- 愛の研究
- AIシステム
- aiのユースケース
- AI / ML
- 整列した
- すべて
- 許可
- ことができます
- 沿って
- また
- 代替案
- 驚くべき
- an
- および
- 別の
- どれか
- どこにでも
- 申し込み
- 建築
- です
- エリア
- 到着
- 人工の
- 人工知能
- AS
- アシックス
- 頼む
- At
- 自動車
- 賃貸条件の詳細・契約費用のお見積り等について
- 利用できます
- 離れて
- b
- バリア
- ベース
- BE
- になる
- になる
- になる
- き
- さ
- 信じる
- 以下
- ベンチマーク
- 恩恵
- 利点
- の間に
- 越えて
- ボトルネック
- 結合した
- 脳
- 脳
- ビルド
- 建物
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- 購入
- by
- カリフォルニア州
- 缶
- キャンセル
- 機能
- できる
- 資本
- キャプチャー
- カーボン
- 炭素捕捉
- 例
- センター
- 最高経営責任者(CEO)
- CEOインタビュー
- 証明書
- 挑戦する
- 課題
- 変化する
- 変更
- 変化
- 文字
- AI言語モデルを活用してコードのデバッグからデータの異常検出まで、
- 子供達
- チップ
- チップ
- 選択
- チョプラ
- クライアント
- 閉じる
- クローザー
- クラウド
- クラスタ
- co2
- 来ます
- 企業
- 会社
- 比べ
- 競争する
- 競争力のある
- 計算
- コンピュータ
- コンピューター
- コンピューティング
- コンセプト
- 会議
- 消費する
- 消費
- 続ける
- 貢献
- 会話
- 会話型AI
- クール
- 費用
- コスト
- 可能性
- 作ります
- 電流プローブ
- 現在の状態
- 現在
- カスタム
- 顧客
- Customers
- 切断
- サイバーセキュリティ
- データ
- データセンター
- データセンター
- デイビッド
- 中
- 日
- 決定
- 深いです
- 深い学習
- より深い
- 需要
- 民主化する
- 民主化
- 実証
- 密度
- によっては
- 設計
- 開発する
- 発展した
- 開発
- 開発
- Devices
- アブダビ
- 区別する
- 勤勉
- 方向
- 取締役
- do
- ありません
- すること
- ドル
- ドント
- ダウン
- dr
- Drop
- 原因
- 獲得
- エッジ(Edge)
- 効果
- 効率
- 効率的な
- 効率良く
- 電気
- 電力消費
- 排除する
- 排除
- 感情
- 共感
- エネルギー
- エネルギー効率
- エンジニアリング
- 高めます
- 十分な
- 全体
- エントリ
- 環境
- 環境の
- 想像する
- 推定
- 推定
- 等
- エーテル(ETH)
- さらに
- 最終的に
- あらゆる
- 例
- エグゼクティブ
- エグゼクティブ·ディレクター
- 存在する
- 専門知識
- 爆発
- エクステンション
- 顔
- 向い
- ファルコン
- 速いです
- 気持ち
- 埋める
- 企業
- floating
- 焦点を当て
- 足
- 予見する
- 形式でアーカイブしたプロジェクトを保存します.
- フォーチュン
- Foundation
- フレームワーク
- から
- 凍結
- 燃料補給
- 機能的な
- 根本的に
- 未来
- 世代
- 生々しい
- 生成AI
- 与えられた
- Go
- ゴエス
- 行く
- 良い
- GPU
- グループ
- 成長
- 成長性
- Hardware
- 持ってる
- he
- それゆえ
- こちら
- ハイ
- 保持している
- ホスティング
- 認定条件
- HTTPS
- 巨大な
- 抱き合う顔
- 人間
- 人類
- IEEE
- if
- 画像
- 影響
- 改善します
- 向上させる
- in
- その他の
- 含ま
- 増える
- 産業を変えます
- 情報
- 革新します
- 革新的手法
- イノベーション
- を取得する必要がある者
- 機関
- インテル
- インテリジェンス
- 世界全体
- インターネット
- インタビュー
- 投資
- IOT
- IT
- ITS
- ただ
- 子供たち
- 種類
- 欠如
- 風景
- 言語
- ノートパソコン
- 大
- より大きい
- つながる
- リーダーシップ
- LEARN
- 学習
- う
- 活用します
- 活用
- ような
- 脚光を浴びる
- LIMIT
- 負荷
- 位置して
- 見て
- のように見える
- 下側
- マシン
- 作成
- メーカー
- 多くの
- 市場
- マーケット
- マトリックス
- 最大幅
- 五月..
- 多分
- MBAを取得
- me
- 意味
- 手段
- だけど
- 思い出
- 言及した
- かもしれない
- 百万
- 万ドル
- マサチューセッツ工科大学(MIT)
- モデル
- 瞬間
- 独占
- ヶ月
- 他には?
- 最も
- 映画
- 移動する
- MS
- しなければなりません
- my
- 名
- すなわち
- ナチュラル
- 必要
- ネットワークベース
- ネットワーキング
- ニューラル
- 新作
- ニュース
- 次の
- ニッチ
- 夜
- 軽快
- 今
- 核の
- 原子力
- 数
- 海
- of
- on
- ONE
- の
- 開いた
- オープンソース
- OpenAI
- 業務執行統括
- 機会
- 最適化
- 最適化
- オプション
- or
- その他
- 私たちの
- でる
- 自分の
- ページ
- 並列シミュレーションの設定
- パラメーター
- パラメータ
- 部品
- 特許
- 支払う
- のワークプ
- おそらく
- 惑星
- 植物
- プラットフォーム
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 過多
- さらに
- 便利なポケット付。
- ポイント
- 位置
- 可能
- 電力
- 発電所
- 実用的
- 印刷物
- プライベート
- 問題
- 問題
- プロダクト
- 製品
- プロフィール
- 進捗
- プロンプト
- 守る
- 目的
- 目的
- プッシュ
- 置く
- クアルコム
- 質問
- 質問
- 範囲
- ランク
- 読む
- 最近
- おすすめ
- 提言
- 減らします
- 縮小
- レギュラー
- レポート
- 要求
- 研究
- 研究開発
- 研究者
- 右
- リバーサイド
- 役割
- 屋根
- ラン
- ランニング
- runs
- 安全な
- 安全性
- 同じ
- 制裁
- サンドボックス
- Save
- 節約
- 言う
- スケーリング
- 科学
- を検索
- シーズン
- セクター
- 安全に
- セグメント
- 半導体
- 半導体関連装置
- シリーズ
- サーバ
- サービス
- サービス
- サービング
- シェアする
- 不足
- すべき
- 示されました
- 作品
- 側
- 重要
- から
- より小さい
- スマートフォン
- スマートフォン
- So
- ソフトウェア
- ソリューション
- 解決
- 一部
- ソース
- スペース
- 専門の
- 費やした
- スタンフォード
- start
- スタートアップ
- 都道府県
- 戦略
- 最強
- そのような
- 供給
- サポート
- 持続可能な
- システム
- タックル
- タックル
- 仕立てる
- 取る
- Talk
- タスク
- 技術的
- テクノロジー
- 技術革新
- 条件
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- より
- それ
- 未来
- 情報
- 世界
- アプリ環境に合わせて
- それら
- その後
- そこ。
- それによって
- ボーマン
- 彼ら
- 物事
- この
- それらの
- しかし?
- 繁栄する
- 時間
- 〜へ
- 今日の
- トークン
- 明日
- あまりに
- top
- 投げ捨てる
- 伝統的な
- トレーニング
- トレーニング
- トランス
- トランスフォーマー
- トレンド
- 信頼されている
- 試します
- しよう
- 下
- 理解する
- 大学
- カリフォルニア大学
- ありそうもない
- us
- 使用法
- つかいます
- 中古
- さまざまな
- ベンチャー
- ベンチャーキャピタル
- ベンチャーキャピタル会社
- 非常に
- の
- ました
- 水
- 仕方..
- we
- ウェブ
- 福祉
- した
- この試験は
- いつ
- which
- 誰
- なぜ
- 意志
- 無し
- 仕事
- ワーキング
- 世界
- でしょう
- 間違った
- 年
- 貴社
- あなたの
- ゼファーネット