CEO インタビュー: Lemurian Labs の Jay Dawani - Semiwiki

CEO インタビュー: Lemurian Labs の Jay Dawani – Semiwiki

タイムスタンプ: 2 年 2024 月 9 日 00:XNUMX AM
ソースノード： 3095502

ジェイ・レムリアン

ジェイ・ダワニ の共同創設者兼 CEO です。 レムリア研究所は、AI アプリケーションに特化したアクセラレーション コンピューティング プラットフォームを開発するスタートアップです。このプラットフォームはハードウェアの障壁を打ち破り、AI 開発をより速く、より安く、より持続可能にし、少数の企業だけでなくアクセスできるようにします。

Lemurian を設立する前に、ジェイは AI 分野で他に 2 つの会社を設立しました。彼は最高評価の『深層学習のための数学に設立された地域オフィスに加えて、さらにローカルカスタマーサポートを提供できるようになります。」

人工知能、ロボット工学、数学の専門家であるジェイは、ブロックチェーン ベースのゲーム プラットフォームを構築する公開会社である BlocPlay の CTO を務め、GEC では AI ディレクターを務め、さまざまな分野をカバーするいくつかのクライアント プロジェクトの開発を指揮しました。小売、アルゴリズム取引、タンパク質フォールディング、宇宙探査用ロボット、レコメンデーション システムなど。余暇には、NASA Frontier Development Lab、Spacebit、SiaClassic のアドバイザーも務めています。

前回レムリアン研究所を特集したときは、ロボット工学とエッジ AI に焦点を当てていました。現在は、データセンターとクラウド インフラストラクチャに重点を置いています。ピボットしたいと思ったきっかけは何ですか?

実際、私たちは、センス-プラン-アクトループ全体を加速できる自律型ロボットアプリケーション向けの高性能、低遅延のシステムオンチップの構築に注力することから、データセンター規模のアプリケーションに焦点を当てたAI向けのドメイン固有アクセラレータの構築に移行しました。 。しかし、それは単なる普通のピボットではありませんでした。それは私たちに応答する責任があると感じた明確な電話でした。

2018 年、私たちは 2.1 億ドルのパラメーター モデルのトレーニングに取り組んでいましたが、コストが非常に高く、正当化できないため、その取り組みを断念しました。そこで、OpenAI が 3 年 2022 月に ChatGPT としてリリースした GPT175 が 80 億ドルのパラメーター モデルだったという私の驚きを想像してみてください。このモデルは、わずか 4 年前に私たちが取り組んでいたものよりも XNUMX 倍以上大きく、興奮すると同時に恐ろしいものです。

このようなモデルのトレーニングにかかる​​コストは、控えめに言っても驚異的です。現在のスケーリング傾向に基づくと、フロンティア AI モデルのトレーニングにかかる​​コストは、そう遠くない将来に 10 億ドルを超えると予想されます。これらのモデルの機能は驚くべきものですが、コストは途方もなく高くなります。この軌跡に基づくと、独自のデータセンターを持ち、リソースが豊富な少数の企業だけが、これらのモデルをトレーニング、展開、微調整する余裕があるでしょう。これは純粋にコンピューティングが高価で電力を多く消費するためではなく、私たちが依存しているソフトウェア スタックがこの世界向けに構築されていないためでもあります。

地理的およびエネルギー的な制約により、データセンターを建設できる場所は限られています。 AI の計算需要を満たすには、20 基の原子炉を必要とせずにゼッタスケールのマシンを構築できる必要があります。私たちは、より実用的でスケーラブルで経済的なソリューションを必要としています。周囲を見回しましたが、この問題を解決しようとしている人は誰もいませんでした。そこで私たちは、問題をシステムのシステムとして総合的に検討し、第一原理から解決策を推論するために振り出しに着手しました。私たちは、10 日あたり 200 億の LLM クエリを経済的に処理しなければならない場合、ソフトウェアからハードウェアまでのフルスタックをどのように設計するかを自問しました。私たちは、2028 年までに XNUMXMW 未満のゼッタスケール マシンを目指しています。

重要なのは、不釣り合いなスケーリングの観点からこれを見ることです。システムのさまざまな部分が異なるスケーリング ルールに従います。そのため、ある時点で物事が機能しなくなったり、壊れ始めたり、コストメリットのトレードオフが意味をなさなくなったりします。こうなると、システムを再設計するしか選択肢はありません。当社の評価とソリューションは、ワークロード、番号システム、プログラミング モデル、コンパイラー、ランタイム、ハードウェアを総合的に網羅します。

ありがたいことに、当社の既存の投資家やその他の市場の人々がこのビジョンを理解してくださったので、当社の番号フォーマットである PAL を開発するために 9 万ドルのシードラウンドを調達しました。これは、設計空間を探索し、ドメイン固有のアクセラレータのアーキテクチャに収束し、コンパイラとランタイム。シミュレーションでは、最新の GPU よりも小さいエネルギー フットプリントで 20 倍のスループット向上を達成することができ、同じトランジスタ テクノロジで総所有コストに対してシステム パフォーマンスで 8 倍のメリットを提供できると予測しています。

言うまでもなく、私たちの前には多くの作業が残っていますが、データセンターの経済学を再定義して、誰もが AI を豊富に利用できる未来を確保できるという見通しに非常に興奮しています。

それは確かにエキサイティングに聞こえますし、これらの数字は印象的です。しかし、注力しているものとして番号システム、ハードウェア、コンパイラ、ランタイムを挙げていますが、どの企業にとっても一度に取り組むのは大変なことのように思えます。それは非常に危険な提案のように思えます。スタートアップはもっと集中すべきではないでしょうか？ 

さまざまな取り組みのように聞こえますが、実際には、多くの部分が相互に関連している 1 つの取り組みです。これらのコンポーネントの 1 つだけを他のコンポーネントと切り離して解決しても、システム全体の非効率性やボトルネックを見落とすことになるため、イノベーションの可能性が妨げられるだけです。 Jensen Huang 氏は、「アクセラレーテッド コンピューティング企業になるためには、フルスタック企業でなければならない」と最もよく言いましたが、私も完全に同意します。彼らが現在の市場リーダーであるのには理由があります。しかし、私は集中していないという考えには異議を唱えたいと思います。問題を総合的にどのように考え、お客様にとって最善の解決策を講じるか、これが私たちが焦点を当てているところです。

それには、私たちのような学際的なアプローチが必要です。私たちの仕事の各部分が他の部分に情報を与え、サポートすることで、各部分の合計をはるかに超えるソリューションを作成できるようになります。レースカーを作らなければならない場合を想像してみてください。恣意的にシャーシを選択し、レーシングタイヤを追加し、見つけられる最も強力なエンジンを搭載してレースをすることはありませんよね？空気抵抗を減らしてダウンフォースを強化するために車のボディの空力を考慮し、ハンドリングを良くするために重量配分を最適化し、パフォーマンスを最大化するためにエンジンをカスタム設計し、過熱を防ぐために冷却システムを取得し、ドライバーの安全を守るためにロールケージを仕様します。これらの要素はそれぞれ、他の要素に基づいて構築され、他の要素に情報を与えます。

とはいえ、どの業界のどの企業でも、すべてを一度に実行しようとするのは危険です。リスクを管理するために、当社は段階的なアプローチを採用しており、お客様とともに当社のテクノロジーを検証し、必要に応じて戦略を調整できるようにしています。私たちは、数値形式が機能し、同等の浮動小数点型よりも優れた電力性能領域を持ち、同時にニューラル ネットワークをより小さなビット幅に量子化することを容易にする優れた数値特性も備えていることを証明しました。私たちは自信を持ってトレーニングと推論の両方に適したアーキテクチャを設計しました。しかし、それよりも重要なのはソフトウェアを適切に動作させることであり、それが私たちの当面の焦点の大部分です。私たちは、今日から 1 年、2 年、あるいはそれ以上先の世界を見据えて、ソフトウェア スタックで正しい決定を下せるようにする必要があります。

ハードウェア会社を設立するのは困難で、費用がかかり、長い時間がかかります。まず、ソフトウェアに焦点を当てることは、それ自体が非常に実行可能なビジネスであるように思えますし、現在の状況では投資家にとって潜在的により魅力的である可能性があります。この分野の資金豊富な企業の多くが閉店し、顧客に採用されるのに苦労しており、大手企業が独自のハードウェアを構築しているにもかかわらず、なぜハードウェアにも取り組むのでしょうか?

一般的にソフトウェア企業はハードウェア企業よりもはるかに簡単に資金を調達でき、ハードウェアは非常に厳しいというのは全くその通りです。私たちが現在重点を置いているのはソフトウェアです。なぜなら、そこに大きな問題があると考えているからです。明確にしておきますが、問題は、カーネルを高性能の CPU または GPU で実行できるかどうかではありません。それは長い間解決されてきた問題です。今日の問題は、開発者がワークフローの見直しを要求することなく、異種コンピューティングで構成される数千のノード クラスターから生産性を高めて、より簡単にパフォーマンスを得ることができるようにするにはどうすればよいかということです。

これが私たちが現在、開発者にスーパーパワーを与え、倉庫規模のコンピューターの全機能を解放するソフトウェア スタックを使って解決することに重点を置いている問題で、これにより AI モデルをより経済的にトレーニングして展開できるようになります。

さて、投資に関して言えば、確かにVCは支援する企業の種類をより厳選しているが、それは同時にVCが、商業化への明確な道筋を持ちながら大きな影響力を持つ真に画期的な製品を提供する可能性のある企業を探していることも意味する。当社は他者の課題や失敗から学び、リスクに対処するためのビジネス モデルとロードマップを積極的に設計してきました。また、スタートアップの成功の要因は、VC 資金をいかに簡単に調達できるかによって決まることはほとんどなく、むしろスタートアップの機知、頑固さ、顧客重視と関係していることに注意することも重要です。

質問の前に言っておきますが、私たちはまだハードウェアの開発に取り組んでいますが、現在は主にシミュレーションに取り組んでいます。しばらくテープアウトするつもりはない。しかし、その会話は別の機会に取っておきます。

それは確かに説得力があり、貴社の段階的なアプローチは、私たちがこれまで見てきた他のハードウェア企業の取り組みと比べて大きく異なります。あなたのソフトウェア スタックが解決すると言っている問題は理解できますが、あなたのソフトウェアは市場のさまざまな取り組みとどのように区別されますか?

あなたが言及している企業のほとんどは、タイルベースまたはタスク マッピング プログラミング モデルを導入して GPU のパフォーマンスを向上させたり、新しいプログラミング言語を構築してさまざまな環境で高性能カーネルをスケジュールしたりすることで、GPU のプログラミングを容易にすることに重点を置いています。インラインアセンブリをサポートするプラットフォーム。これらは彼らが取り組んでいる重要な問題ですが、私たちは、私たちが解決している問題はほぼ直交していると考えています。

ハードウェアとソフトウェアの移行のペースについて少し考えてみましょう。シングルコア アーキテクチャはクロック速度とトランジスタ密度によってパフォーマンスを向上させましたが、最終的にクロック速度は頭打ちになります。多くのコアを使用した並列処理によりこれが回避され、大幅な高速化が実現されました。ソフトウェアが追いつくまでにおよそ 10 年かかりました。開発者がこのパラダイムの価値を引き出せるように、プログラミング モデル、コンパイラ、ランタイムを再考する必要があったからです。その後、GPU は再び異なるプログラミング モデルを備えた汎用アクセラレータになり始めました。繰り返しになりますが、開発者がここで価値を引き出すにはほぼ 10 年かかりました。

繰り返しますが、ハードウェアは頭打ちになっています。ムーアの法則、エネルギーと熱の制約、メモリのボトルネック、ワークロードの多様性に加え、飛躍的に増加するコンピューティングの必要性により、パフォーマンス、効率、総コストの向上を目指して、ますます異種混合のコンピューター アーキテクチャを構築する方向に私たちは駆り立てられています。コンピューティングの次の進化をサポートする適切なコンパイラとランタイムがないため、ハードウェアのこの変化は当然ソフトウェアに課題をもたらします。しかし今回は、特に 10% 以上が未使用の状態の異種アーキテクチャや大規模クラスターの価値をソフトウェアが引き出せるようになるまで、さらに 80 年待つ必要はありません。

私たちが焦点を当てているのは、タスクベースの並列処理を備えた異種混合を意識したプログラミング モデルを構築し、クロスプロセッサの最適化、コンテキストを意識したコンパイル、および動的なリソース割り当てによって移植可能なパフォーマンスに対処することです。そして私たちにとって、それが CPU、GPU、TPU、SPU (レムリアンのアーキテクチャ) であるか、それらすべてのメッシュであるかは問題ではありません。とても派手な言葉のように聞こえるかもしれませんが、実際に言いたいのは、単一のアプローチであらゆる種類のプロセッサをプログラムできるようになり、最小限の処理である種類のプロセッサから別の種類のプロセッサにコードを移植できるということです。パフォーマンスを犠牲にすることなく作業を実行し、ノード間で適応的かつ動的に作業をスケジュールします。

フルスライド LL 空間処理ユニットのアーキテクチャ (1)

もしあなたの言うことが本当なら、コンピューティングを完全に再定義することになるかもしれません。資金調達について話しましょう。あなたは昨年シード資金で9万ドルを調達しましたが、これは投資家の強力なサポートとあなたのビジョンに対する信頼を示しています。それ以来何をしましたか？

過去 20 年間、シード資金に支えられて、私たちは大きな進歩を遂げてきました。現在、チームのメンバーは XNUMX 名となり、私たちは課題に細心の注意を払い、顧客と関わり、アプローチを洗練させてきました。

私たちはトレーニングと推論のための PAL の強化に焦点を当て、アクセラレータのコンピューター アーキテクチャを調査し、パフォーマンス メトリック用のシミュレーターを開発しました。同時に、ヘテロジニアス コンピューティングを重視して、データセンター アプリケーション向けのソフトウェア スタックを再考しました。

この取り組みにより、明確に定義されたアーキテクチャが誕生し、大規模な AI に対する PAL の有効性が実証されました。テクノロジーの進歩を超えて、私たちはアクセスを民主化するためのコラボレーションと支援を追求しました。これらの取り組みにより、Lemurian Labs は顧客の差し迫った課題に対処し、量産シリコンのリリースに向けて準備を整えることができます。

ソフトウェア スタックの開発、コラボレーション、アクセラレータのアーキテクチャの改善に関する Lemurian Labs の中期計画は何ですか?

私たちの当面の目標は、ポータブルなパフォーマンスを備えた CPU、GPU、および AI アクセラレータを対象としたソフトウェア スタックを作成することであり、年末には初期のパートナーが利用できるようになる予定です。私たちは現在、ほとんどの大手半導体企業、クラウド サービス プロバイダー、ハイパースケーラー、AI 企業と、当社のコンパイラーとランタイムへのアクセスを許可するための協議を行っています。並行して、ハードウェアとソフトウェアの真に共同設計されたシステムを実現するために、アクセラレータのアーキテクチャの改善に取り組み続けています。そしてもちろん、投資家コミュニティからの非常に強い関心を受けて、シリーズ A の資金調達を開始したところです。これにより、チームを成長させ、年末のソフトウェア製品配信の目標を達成できるようになります。

最後に、レムリアン研究所は今後数年間で AI 開発、アクセシビリティ、公平性の状況を変えることにどのように貢献すると思いますか?

私たちは、商業的利益や楽しみのためだけにコンピューティングを再定義しようとしたわけではありません。レムリアンとして、私たちの原動力は、AI の変革の可能性を信じており、このテクノロジーの将来とその使用方法を定義するためのリソースを少数の企業が持つべきであると信じていることです。また、AI 用のデータセンター インフラストラクチャが 20 年までに世界のエネルギーの 2030% を消費する軌道に乗っていることも容認できません。関連コストを大幅に削減することで AI をより利用しやすくし、AI のイノベーションのペースを加速し、その影響を拡大します。現在のハードウェア インフラストラクチャの課題に対処することで、私たちは XNUMX 億人の人々に AI の能力を与え、この高度なテクノロジーの公平な配布を確保する道を切り開くことを目指しています。私たちは、製品中心のソリューション、コラボレーション、継続的なイノベーションへの取り組みが、AI 開発の未来を前向きなものにする原動力となることを願っています。

また読む：

この投稿を共有する：

タイムスタンプ：

より多くの セミウィキ