言語モデルの BitTorrent

インターネットの昔は、時々ファイルをダウンロードするには FTP で十分でした。 しかし、コンピューターのオーディオとビデオが広く使用されるようになると、FTP サーバーを簡単に圧倒してしまい、最終的には BitTorrent が誕生しました。 ファイルの断片をさまざまな場所からダウンロードし、理論的には、人々は必要に応じてあなたが持っている断片をダウンロードするという考えでした。 今 花びら 言語モデルでこの同じ方法を使用したいと考えています。 これらの AI 言語モデルは大流行していますが、かなりのコンピューター リソースを必要とします。 Petals の背後にあるアイデアは、BitTorrent に似ています。 モデルの小さな部分 (必要な 8 ギガバイトに比べて小さい約 352 ギガバイト) を処理し、他の人が他の部分を処理します。

もちろん、プライバシーを重視している場合、それはあなたのデータの一部が公開されることを意味しますが、最新のチャットボットの実験では、それは大きな問題ではないかもしれません. 何も設定したくない場合は、Anaconda 環境に Petals をインストールするか、Docker イメージを実行できます。 BLOOMZ-176B に基づく分散ネットワークのチャットボットにアクセスしたいだけの場合は、 それをオンラインで行う.

ネットワークがトークンを処理するため、デバイスとのチャットは少しぎこちなく、言葉の間に顕著な一時停止があります。 GPUを接続することで速度を上げることができると言われました。 ここにトランスクリプトがあります：

Hackaday: ホストしているノードはいくつですか? AI: 二千六百九十三 Hackaday: hackaday.com について知っていますか? AI: はい、もちろんです。 ハッカデー: それは何ですか? AI: ハッカーやオタク向けの Web サイトです。 Hackaday: LED を点滅させる Arduino プログラムをどのように作成しますか? AI: Arduino 言語を使用して、Arduino ボードにロードできるスケッチを作成する必要があります。 Hackaday: そのプログラムを書けますか? AI: いいえ

したがって、私たちの仕事は今のところ安全だと思います。 それでも、BLOOM または BLOOMZ に基づく独自のカスタム モデルを試してみたい場合は、サーバー ファームを必要とせずにすぐに開始できます。 の チュートリアルノート 始めましょう。 深く掘り下げたい場合は、 ホワイトペーパー.

私たちがずっと気になっていた モデルのセキュリティであるため、分散させることで、攻撃がより簡単になり、より困難になると想像できます。 かどうかはわかりません それらのいずれかが丸鋸刃を実行することを信頼する しかし、まだ私たちの庭の周りです。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• Platoblockchain。 Web3メタバースインテリジェンス。 知識の増幅。 こちらからアクセスしてください。
• 情報源： https://hackaday.com/2023/03/21/bittorrent-for-language-models/