ローカルで使用する LLM (Large Language Model) は、通常、複数ギガバイトのファイル内の重みのセットとして配布されます。 これらは単独で直接使用することができないため、一般に他のソフトウェアに比べて配布や実行が難しくなります。 特定のモデルに変更や微調整が加えられている可能性もあり、異なるバージョンが使用されると異なる結果が生じます。
これを支援するために、Mozilla のイノベーション グループは次のリリースをリリースしました。 ラマファイルは、一連の重みを、インストールすることなく XNUMX つの異なる OS (macOS、Windows、Linux、FreeBSD、OpenBSD、および NetBSD) 上で実行できる単一のバイナリに変換するオープンソースの方法です。 これにより、LLM の配布と実行が劇的に簡単になるだけでなく、LLM の特定のバージョンが永久に一貫性と再現性を維持できるようになります。
これは、 コスモポリタン、一度構築すればどこでも実行できるフレームワーク。 もう一つの主要な部分は、 ラマ.cpp、そして私たちはカバーしました なぜそれがそんなに大きなことなのか セルフホスト型 LLM の実行に関しては。
全 いくつかのサンプルバイナリ Mistral-7B、WizardCoder-Python-13B、および LLaVA 1.5 LLM を使用して利用できます。 Windows プラットフォームを使用している場合、LLaVA 1.5 のみが実行されることに注意してください。これは、Windows の実行可能ファイルの 4 GB 制限を下回る唯一のプラットフォームであるためです。 問題が発生した場合は、チェックしてください 注意事項リスト トラブルシューティングのヒントについては。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://hackaday.com/2023/12/02/mozilla-lets-folks-turn-ai-llms-into-single-file-executables/
- :持っている
- :は
- 1
- a
- AI
- また
- an
- および
- です
- AS
- 利用できます
- BE
- なぜなら
- ビッグ
- 缶
- 変更
- チェック
- comes
- 比べ
- 整合性のある
- カバー
- クリエイター
- 異なります
- 直接に
- 分配します
- 配布
- 劇的に
- 容易
- 確保する
- File
- に前進
- フレームワーク
- フリーズ
- 一般に
- 与えられた
- グループ
- もっと強く
- 持ってる
- 助けます
- HTTPS
- if
- in
- 革新的手法
- に
- 問題
- IT
- JPG
- ただ
- キープ
- 言語
- 大
- 主要な
- ことができます
- LIMIT
- linuxの
- ローカル
- MacOSの
- メイン
- 作る
- 方法
- マインド
- モデル
- モジラ
- 必要
- of
- on
- ONE
- の
- 開いた
- オープンソース
- その他
- でる
- 自分の
- 部
- 特定の
- プラットフォーム
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- 可能
- リリース
- 残っている
- 結果
- ラン
- ランニング
- runs
- セッションに
- SIX
- ソフトウェア
- 一部
- ソース
- そのような
- それ
- アプリ環境に合わせて
- それら
- ボーマン
- この
- ヒント
- 〜へ
- 順番
- ターニング
- 微調整
- 下
- 受けた
- つかいます
- 中古
- 通常
- バージョン
- WELL
- いつ
- which
- 意志
- ウィンドウズ
- 無し
- 仕事
- 貴社
- ゼファーネット