Rishin Sharma & Jake Brukhman著。
Nick Yakovenko、David Pakman、Jan Coppens、AC、Evan Feng、Adi Sideman など、この作品にフィードバックを寄せてくれたすべての人に感謝します。
出典: 安定拡散型検索エンジン Lexica.art の AI 生成画像
技術革新は休むことがなく、これは特に人工知能に当てはまります。 ここ数年、ディープ ラーニング モデルの人気が AI の先駆者として再浮上してきました。 とも呼ばれる ニューラルネットワーク、これらのモデルは密に相互接続されたノードのレイヤーで構成されており、互いに情報を渡し、人間の脳の構造を大まかに模倣しています。 2010 年代初頭、最も高度なモデルには数百万のパラメーターがあり、特定のセンチメント分析と分類に使用される厳重に監視されたモデルでした。 などの今日の最先端モデル ドリームスタジオ, GPT-3, DALL-E2, 画像 XNUMX 兆個のパラメーターに近づいており、人間の仕事に匹敵する複雑で創造的なタスクを達成しています。 たとえば、このブログ投稿のヘッダー画像または概要を見てください。 どちらも人工知能によって生成されました。 これらのモデルが、新しいことを学び、互いに交流し、創造的に表現する方法を形成する際に、これらのモデルの社会的および文化的な意味を理解し始めたところです。
しかし、今日の大規模なニューラル ネットワークをトレーニングするための技術的ノウハウ、重要なデータ セット、計算能力の多くはクローズド ソースであり、Google や Meta などの「ビッグ テック」企業によってゲートされています。 などのオープン ソース モデルをレプリカしながら GPT-NeoX, DALLE-メガ, 咲く を含む組織が先頭に立っています。 安定性AI, エレウテライ, 抱き合う顔、web3 はオープンソース AI をさらに強化する態勢を整えています。
「AI 用の web3 インフラストラクチャ レイヤーは、オープン ソース開発、コミュニティの所有権とガバナンス、およびユニバーサル アクセスの要素を導入して、これらの新しいテクノロジーの開発における新しいモデルと効率性を生み出すことができます。
さらに、web3 の多くの重要なユース ケースは、AI テクノロジの採用によって強化されます。 から ジェネレーティブ アート NFT AI は web3 で多くのユースケースを見つけます。 オープンソースの AI は、web3 のオープンで分散化され、民主化された精神に適合し、すぐにはオープンにならない Big Tech が提供する AI に代わるものです。
基礎モデル 通常はインテリジェントな人間の行動を必要とするタスクを実行するために、広範なデータセットでトレーニングされたニューラル ネットワークです。 これらのモデルは、いくつかの印象的な結果を生み出しました。
OpenAI などの言語モデル GPT-3, GoogleのLaMDA, Nvidia の Megatron-Turing NLG 自然言語を理解して生成する能力、テキストを要約して合成する能力、さらには コンピュータコードを書く.
DALLE-2 は OpenAI の テキストから画像への拡散モデル 書かれたテキストからユニークなイメージを生み出すことができます。 Google の AI 部門である DeepMind は、540B パラメータ言語モデルである PaLM や、DrawBench および COCO FID ベンチマークで DALLE-2 よりも優れた独自の画像生成モデルである Imagen などの競合モデルを作成しました。 Imagen は特に、よりフォトリアリスティックな結果を生成し、スペリング機能を備えています。
Google などの強化学習モデル アルファゴー を倒した 人間囲碁世界チャンピオン ゲームの XNUMX 年の歴史の中で浮上していない斬新な戦略とプレイ テクニックを発見しながら。
複雑な基盤モデルを構築する競争は、ビッグ テックがイノベーションの最前線に立ち、すでに始まっています。 この分野の進歩は刺激的ですが、懸念すべき重要なテーマがあります。
過去 XNUMX 年間で、AI モデルがより洗練されるにつれて、AI モデルはますます一般に公開されなくなりました。
テクノロジーの巨人は、そのようなモデルを作成し、独自のテクノロジーとしてデータとコードを保持することに多額の投資を行っていますが、モデルのトレーニングと計算の規模のメリットを通じて競争力を維持しています。
サード パーティにとって、基盤モデルの作成はリソースを大量に消費するプロセスであり、次の XNUMX つの主要なボトルネックがあります。 データ、計算、 & 収益化.
これらの問題のいくつかを解決するために、web3 テーマの初期の導入が見られるのはここです。
ラベル付けされたデータセットは、効果的なモデルを構築するために重要です。 AI システムは、データセット内の例から一般化することによって学習し、時間の経過とともにトレーニングされるにつれて継続的に改善されます。 ただし、高品質のデータセットの編集とラベル付けには、計算リソースに加えて、専門的な知識と処理が必要です。 大規模なテクノロジー企業には、多くの場合、大規模な独自のデータセットを扱うことに特化した内部データ チームがあり、 IPシステム モデルを訓練するためのものであり、データの生産または配布へのアクセスをオープンにするインセンティブはほとんどありません。
モデル トレーニングを公開し、研究者のグローバル コミュニティがアクセスできるようにしているコミュニティがすでに存在します。 ここではいくつかの例を示します。
- 一般的なクロールは、XNUMX 年分のインターネット データの公開リポジトリであり、一般的なトレーニングに使用できます。 （けれど 研究ショー より正確でペアリングされたデータセットは、一般的なクロスドメインの知識とモデルのダウンストリームの一般化機能を向上させることができます.)
- ライオーン は、大規模な機械学習モデルとデータセットを一般に公開および公開することを目的とした非営利団体です。 ライオン5B、5.85 億 XNUMX 万の CLIP フィルター処理された画像とテキストのペアのデータセットであり、リリース時に世界で最大のオープンにアクセス可能な画像とテキストのデータセットになりました。
- エレウテライ と呼ばれる最大のオープン ソース テキスト データセットの XNUMX つをリリースした分散型集団です。 パイル. Pile は、825.18 の異なるデータ ソースを利用する言語モデリング用の 22 GiB の英語データセットです。
現在、これらのコミュニティは非公式に組織されており、幅広いボランティア ベースからの寄付に依存しています。 彼らの努力を後押しするために、トークン報酬をオープンソース データセットを作成するメカニズムとして使用できます。 トークンは、大規模なテキスト画像データセットのラベル付けなどの貢献に基づいて発行される可能性があり、DAO コミュニティはそのような主張を検証できます。 最終的に、大規模なモデルは共通のプールからトークンを発行でき、そのモデルの上に構築された製品からのダウンストリームの収益は、トークンの価値を生み出すことができます。 このようにして、データセットの寄稿者はトークンを通じて大規模なモデルに出資することができ、研究者は建物のリソースをオープンに収益化することができます。
適切に構築されたオープン ソース データセットをコンパイルすることは、大規模なモデルの研究アクセシビリティを拡大し、モデルのパフォーマンスを向上させるために重要です。 テキスト画像データセットは、さまざまな種類の画像のサイズとフィルターを増やして拡張し、より微調整された結果を得ることができます。 英語を話さない人口が使用できる自然言語モデルをトレーニングするには、英語以外のデータセットが必要になります。 時間が経つにつれて、web3 アプローチを使用して、これらの結果をより迅速かつオープンに達成できるようになります。
大規模なニューラル ネットワークのトレーニングに必要な計算は、基盤モデルにおける最大のボトルネックの XNUMX つです。 過去 XNUMX 年間で、AI モデルのトレーニングにおけるコンピューティングの需要は 3.4か月ごとに倍増. この期間中、AI モデルは画像認識から強化学習アルゴリズムの使用、戦略ゲームでの人間のチャンピオンの打ち負かし、言語モデルのトレーニングへの変換器の利用へと移行しました。 たとえば、OpenAI の GPT-3 には 175 億のパラメーターがあり、トレーニングに 3,640 ペタフロップス日かかりました。 これには、世界最速のスーパーコンピューターで XNUMX 週間、標準のラップトップで計算するには XNUMX 年以上かかります。 モデルのサイズは拡大し続けているため、コンピューティングは分野の進歩におけるボトルネックのままです。
AI スーパーコンピューターには、グラフィックス プロセッシング ユニット (GPU) や特定用途向け集積回路 (ASIC) など、ニューラル ネットワークのトレーニングに必要な数学的演算を実行するために最適化された特定のハードウェアが必要です。 今日、このタイプの計算用に最適化されたハードウェアのほとんどは、Google Cloud、Amazon Web Services、Microsoft Azure、IBM Cloud などの少数の寡占的なクラウド サービス プロバイダーによって制御されています。
これは、パブリックでオープンなネットワークを介した分散型コンピューティング割り当てが牽引力を獲得する次の主要な交差点です。 分散型ガバナンスを使用して、コミュニティ主導のプロジェクトを訓練するための資金を提供し、リソースを割り当てることができます。 さらに、分散型マーケットプレイス モデルは、あらゆる研究者がコンピューティング リソースにアクセスできるように、地域を越えてオープンにアクセスできます。 クラウドファンディングでトークンを発行してモデル トレーニングを行うバウンティ システムを想像してみてください。 クラウドファンディングが成功すると、そのモデルのコンピューティングが優先され、需要の高いイノベーションが推進されます。 たとえば、DAO からスペイン語またはヒンディー語の GPT モデルを作成してより多くの人口にサービスを提供するという大きな需要がある場合、そのドメインに研究を集中させることができます。
すでに、 ゲンシン は、ディープ ラーニング コンピューティングのための、費用対効果の高い代替のクラウド ベースのハードウェア アクセスを奨励および調整するためのプロトコルの立ち上げに取り組んでいます。 時間が経つにつれて、web3 インフラストラクチャで構築された共有の分散型グローバル コンピューティング ネットワークは、拡張するためのコスト効率が向上し、人工知能の最前線を共同で探索する際により良いサービスを提供するようになります。
データセットとコンピューティングによって、オープン ソースの AI モデルというテーゼが可能になります。 過去数年間で、大規模なモデルはますます非公開になりました。モデルを作成するために必要なリソースへの投資により、プロジェクトがクローズド ソースになることが後押しされたためです。
OpenAIを取ります。 OpenAI は 2015 年に設立されました 当時の AI のリーダーである Google や Facebook とは対照的に、全人類の利益のために汎用人工知能を生み出すことを使命とする非営利の研究所として設立されました。 時間の経過とともに、OpenAI が 営利モデル と大規模な署名 マイクロソフトとの 1 億ドルの商取引. さらに、最近の論争は、テキストから画像へのモデルである DALLE-2 を取り囲んでいます。 その一般化された検閲のために. (たとえば、DALLE-2 は、「銃」、「処刑」、「攻撃」、「ウクライナ」、および有名人の画像という用語を禁止しています。このような粗雑な検閲により、「バスケットを攻撃するレブロン ジェームズ」や「プログラマーがこれらのモデルのプライベート ベータ版へのアクセスには、西側のユーザーがこれらのモデルとやり取りしたり情報を提供したりすることから世界人口の大部分を遮断する暗黙の地理的バイアスがあります。
これは、人工知能が普及する方法ではありません。いくつかの大規模なテクノロジー企業によって保護され、監視され、維持されます。 ブロックチェーンの場合と同様に、アクセスできる少数の人々にその利点が集中しないように、新しいテクノロジーは可能な限り公平に適用する必要があります。 人工知能の複合的な進歩は、さまざまな業界、地域、およびコミュニティにわたって公然と活用され、最も魅力的なユースケースを集合的に発見し、AI の公正な使用に関するコンセンサスに達する必要があります。 基礎モデルをオープンソースに保つことで、検閲を防ぎ、偏見を公の場で注意深く監視することができます。
一般化された基盤モデルのトークン構造により、コードのオープンソースをリリースしながら作業を収益化できる貢献者のより大きなプールを集約することが可能になります。 オープンソースのテーゼを念頭に置いて構築された OpenAI のようなプロジェクトは、才能とリソースを求めて競争するために、独立した資金提供会社に方向転換しなければなりませんでした。 Web3 により、オープンソース プロジェクトは金銭的に有利になり、ビッグ テックによる民間投資が主導するプロジェクトにさらに匹敵するようになります。 さらに、オープンソース モデルの上に製品を構築するイノベーターは、基盤となる AI に透明性があることを確信して構築できます。 これの下流の効果は、新しい人工知能のユースケースの急速な採用と市場投入です。 web3 スペースでは、これには次のものが含まれます。 セキュリティアプリケーション スマートコントラクトの脆弱性とラグプルの予測分析を実施し、 画像ジェネレータ NFT を作成し、メタバース ランドスケープを作成するために使用できます。 デジタル AI パーソナリティ 個人の所有権を保持するためにチェーン上に存在することができます。
人工知能は、今日最も急速に進歩している技術の 3 つであり、社会全体に計り知れない影響を与えるでしょう。 今日、才能、データ、コンピューティングへの財政的投資がオープンソース開発への重要な壕を作り出しているため、この分野はビッグ テクノロジーによって支配されています。 WebXNUMX を AI のインフラストラクチャ レイヤーに統合することは、人工知能システムが公平でオープンでアクセスしやすい方法で構築されるようにするための重要なステップです。 Twitter や HuggingFace などのオープン スペースでは、オープン モデルが急速なパブリック イノベーションの位置を占めており、仮想通貨はこれらの取り組みを加速させることができます。
AIと仮想通貨の交差点でCoinFundチームが探しているものは次のとおりです。
- ミッションの中核にオープンな人工知能を持つチーム
- AI モデルの構築を支援するために、データやコンピューティングなどの公開リソースをキュレートしているコミュニティ
- AI を利用して創造性、セキュリティ、イノベーションを主流に採用する製品
AI と web3 の交差点でプロジェクトを構築している場合は、CoinFund に連絡してチャットしてください。 Twitter または電子メール rishin@coinfund.io or jake@coinfund.io.
