著者による画像
この投稿では、Mixtral 8x7b と呼ばれる新しい最先端のオープンソース モデルについて説明します。また、LLaMA C++ ライブラリを使用してそれにアクセスする方法と、削減されたコンピューティングとメモリで大規模な言語モデルを実行する方法も学びます。
ミストラル 8x7b は、Mistral AI によって作成された、オープンウェイトを備えた高品質のスパース混合エキスパート (SMoE) モデルです。 Apache 2.0 でライセンスされており、ほとんどのベンチマークで Llama 2 70B を上回り、6 倍高速な推論を実現します。 Mixtral は、ほとんどの標準ベンチマークで GPT3.5 に匹敵するかそれを上回り、コスト/パフォーマンスの点で最高のオープンウェイト モデルです。
Image from
専門家の混合
Mixtral 8x7B は、デコーダのみの疎な専門家混合ネットワークを使用します。これには、8 つのパラメーター グループから選択するフィードフォワード ブロックが含まれます。ルーター ネットワークはトークンごとにこれらのグループのうち 12.9 つを選択し、その出力を加算的に組み合わせます。この方法では、コストとレイテンシを管理しながらモデルのパラメータ数を強化し、合計 46.7 億のパラメータがあるにもかかわらず、XNUMX 億のモデルと同等の効率性を実現します。
Mixtral 8x7B モデルは、32 トークンの幅広いコンテキストの処理に優れており、英語、フランス語、イタリア語、ドイツ語、スペイン語などの複数の言語をサポートしています。コード生成で強力なパフォーマンスを示し、命令追従モデルに微調整できるため、MT-Bench などのベンチマークで高いスコアを達成できます。
LLaMA.cpp は、Facebook の LLM アーキテクチャに基づいた大規模言語モデル (LLM) 用の高性能インターフェイスを提供する C/C++ ライブラリです。これは、テキストの生成、翻訳、質問応答など、さまざまなタスクに使用できる軽量で効率的なライブラリです。 LLaMA.cpp は、LLaMA、LLaMA 2、Falcon、Alpaca、Mistral 7B、Mixtral 8x7B、GPT4ALL など、幅広い LLM をサポートしています。すべてのオペレーティング システムと互換性があり、CPU と GPU の両方で機能します。
このセクションでは、Colab 上で llama.cpp Web アプリケーションを実行します。数行のコードを記述するだけで、PC または Google Colab 上で新しい最先端モデルのパフォーマンスを体験できるようになります。
スタートガイド
まず、以下のコマンドラインを使用して、llama.cpp GitHub リポジトリをダウンロードします。
!git clone --depth 1 https://github.com/ggerganov/llama.cpp.git
その後、ディレクトリをリポジトリに変更し、`make` コマンドを使用して llama.cpp をインストールします。 CUDA がインストールされた NVidia GPU 用の llama.cpp をインストールします。
%cd llama.cpp
!make LLAMA_CUBLAS=1
モデルをダウンロード
適切なバージョンの `.gguf` モデル ファイルを選択することで、Hugging Face Hub からモデルをダウンロードできます。さまざまなバージョンの詳細については、次のサイトを参照してください。 TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF.
Image from
TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
コマンド `wget` を使用して、現在のディレクトリにモデルをダウンロードできます。
!wget https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf
LLaMAサーバーの外部アドレス
LLaMA サーバーを実行すると、Colab では役に立たないローカルホスト IP が与えられます。 Colab カーネル プロキシ ポートを使用してローカルホスト プロキシに接続する必要があります。
以下のコードを実行すると、グローバル ハイパーリンクが取得されます。後でこのリンクを使用して Web アプリにアクセスします。
from google.colab.output import eval_js
print(eval_js("google.colab.kernel.proxyPort(6589)"))
https://8fx1nbkv1c8-496ff2e9c6d22116-6589-colab.googleusercontent.com/
サーバーの実行
LLaMA C++ サーバーを実行するには、サーバー コマンドにモデル ファイルの場所と正しいポート番号を指定する必要があります。ポート番号が、前の手順でプロキシ ポートに対して開始したものと一致していることを確認することが重要です。
%cd /content/llama.cpp
!./server -m mixtral-8x7b-instruct-v0.1.Q2_K.gguf -ngl 27 -c 2048 --port 6589
サーバーがローカルで実行されていないため、前の手順でプロキシ ポートのハイパーリンクをクリックすると、チャット Web アプリにアクセスできます。
LLaMA C++ ウェブアプリ
チャットボットの使用を開始する前に、チャットボットをカスタマイズする必要があります。プロンプトセクションの「LLaMA」をモデル名に置き換えます。さらに、生成された応答を区別するためにユーザー名とボット名を変更します。
下にスクロールしてチャット セクションに入力してチャットを開始します。他のオープンソース モデルでは適切に答えられなかった技術的な質問を遠慮なくしてください。
アプリで問題が発生した場合は、Google Colab を使用して自分で実行してみてください: https://colab.research.google.com/drive/1gQ1lpSH-BhbKN-DdBmq5r8-8Rw8q1p9r?usp=sharing
このチュートリアルでは、LLaMA C++ ライブラリを使用して、Google Colab 上で高度なオープンソース モデル Mixtral 8x7b を実行する方法についての包括的なガイドを提供します。他のモデルと比較して、Mixtral 8x7b は優れたパフォーマンスと効率を提供するため、大規模な言語モデルを試したいが、広範な計算リソースを持たない人にとっては優れたソリューションになります。ラップトップまたは無料のクラウド コンピューティングで簡単に実行できます。ユーザーフレンドリーで、チャット アプリを展開して他の人が使用したり実験したりすることもできます。
大規模なモデルを実行するためのこの簡単なソリューションがお役に立てば幸いです。私は常にシンプルでより良い選択肢を探しています。もっと良い解決策があればぜひ教えてください。次回はそれについて説明します。
アビッド・アリ・アワン (@ 1abidaliawan)は、機械学習モデルの構築を愛する認定データサイエンティストの専門家です。 現在、彼はコンテンツの作成と、機械学習とデータサイエンステクノロジーに関する技術ブログの執筆に注力しています。 Abidは、技術管理の修士号と電気通信工学の学士号を取得しています。 彼のビジョンは、精神疾患に苦しんでいる学生のためにグラフニューラルネットワークを使用してAI製品を構築することです。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源: https://www.kdnuggets.com/running-mixtral-8x7b-on-google-colab-for-free?utm_source=rss&utm_medium=rss&utm_campaign=running-mixtral-8x7b-on-google-colab-for-free
- :は
- :not
- 1
- 12
- 27
- 46
- 7
- 8
- a
- できる
- アクセス
- アクセス
- 達成する
- さらに
- 住所
- 高度な
- AI
- すべて
- また
- 常に
- am
- an
- および
- 回答
- アパッチ
- アプリ
- 申し込み
- 適切な
- 建築
- です
- AS
- 頼む
- ベース
- BE
- 始まる
- 以下
- ベンチマーク
- BEST
- より良いです
- の間に
- ブロック
- ブログ
- ロボット
- 両言語で
- ビルド
- 建物
- 焙煎が極度に未発達や過発達のコーヒーにて、クロロゲン酸の味わいへの影響は強くなり、金属を思わせる味わいと乾いたマウスフィールを感じさせます。
- by
- C + +
- 呼ばれます
- 缶
- 認証
- 変化する
- チャット
- チャットボット
- チャット
- 選択する
- クラウド
- コード
- 結合
- 比べ
- 互換性のあります
- 包括的な
- 計算的
- 計算
- コンピューティング
- 接続
- コンテンツ
- コンテンツ作成
- コンテキスト
- 正しい
- 費用
- カバー
- 作成した
- 創造
- 電流プローブ
- 現在
- カスタマイズ
- データ
- データサイエンス
- データサイエンティスト
- 度
- 提供します
- 実証
- 展開します
- にもかかわらず
- 見分けます
- do
- ダウン
- ダウンロード
- 各
- 簡単に
- 効率
- 効率的な
- 出会い
- エンジニアリング
- 英語
- 強化
- さらに
- 優れた
- 体験
- 実験
- 専門家
- 探る
- 広範囲
- 顔
- Failed:
- ファルコン
- 速いです
- 感じます
- 少数の
- File
- 焦点
- 発見
- 無料版
- フランス語
- から
- function
- 生成された
- 世代
- ドイツ語
- 取得する
- GitHubの
- 与える
- グローバル
- でログイン
- GPU
- GPU
- グラフ
- グラフ ニューラル ネットワーク
- グループの
- ガイド
- ハンドリング
- 持ってる
- 持って
- he
- 役立つ
- ハイ
- ハイパフォーマンス
- 高品質
- 彼の
- 保持している
- 希望
- 認定条件
- How To
- HTTPS
- ハブ
- i
- if
- 病気
- import
- 重要
- in
- 含めて
- 情報
- 開始
- install
- インストールする
- インタフェース
- に
- 関与
- IP
- 問題
- IT
- イタリア語
- KDナゲット
- 知っている
- 言語
- ESL, ビジネスESL <br> 中国語/フランス語、その他
- ノートパソコン
- 大
- レイテンシ
- 後で
- LEARN
- 学習
- う
- 図書館
- ライセンス供与
- 軽量
- ような
- LINE
- ライン
- LINK
- ラマ
- 局部的に
- 場所
- 探して
- で
- 機械
- 機械学習
- make
- 作成
- 管理
- 管理する
- マスター
- マッチ
- me
- メモリ
- メンタル
- 精神疾患
- 方法
- 混合
- モデル
- 修正する
- 他には?
- 最も
- の試合に
- my
- 名
- 必要
- ネットワーク
- ニューラル
- ニューラルネットワーク
- 新作
- 次の
- 数
- Nvidia
- of
- on
- ONE
- 開いた
- オープンソース
- オペレーティング
- OS
- オプション
- or
- その他
- その他
- 私たちの
- 優れた性能
- 出力
- outputs
- 自分の
- パラメーター
- パラメータ
- PC
- パフォーマンス
- プラトン
- プラトンデータインテリジェンス
- プラトデータ
- お願いします
- ポスト
- 前
- プロダクト
- プロ
- 正しく
- 提供します
- は、大阪で
- 代理
- 質問
- 質問
- 範囲
- 電話代などの費用を削減
- に対する
- replace
- 倉庫
- 研究
- リソース
- 回答
- ルータ
- ラン
- ランニング
- s
- 科学
- 科学者
- スコア
- スクローリング
- セクション
- 選択
- 簡単な拡張で
- から
- 溶液
- ソース
- スペイン語
- 標準
- 最先端の
- 手順
- 強い
- 苦労して
- 生徒
- 優れた
- サポート
- 確か
- システム
- タスク
- 技術的
- テクノロジー
- テクノロジー
- テレコミュニケーション
- 클라우드 기반 AI/ML및 고성능 컴퓨팅을 통한 디지털 트윈의 기초 – Edward Hsu, Rescale CPO 많은 엔지니어링 중심 기업에게 클라우드는 R&D디지털 전환의 첫 단계일 뿐입니다. 클라우드 자원을 활용해 엔지니어링 팀의 제약을 해결하는 단계를 넘어, 시뮬레이션 운영을 통합하고 최적화하며, 궁극적으로는 모델 기반의 협업과 의사 결정을 지원하여 신제품을 결정할 때 데이터 기반 엔지니어링을 적용하고자 합니다. Rescale은 이러한 혁신을 돕기 위해 컴퓨팅 추천 엔진, 통합 데이터 패브릭, 메타데이터 관리 등을 개발하고 있습니다. 이번 자리를 빌려 비즈니스 경쟁력 제고를 위한 디지털 트윈 및 디지털 스레드 전략 개발 방법에 대한 인사이트를 나누고자 합니다.
- テキスト生成
- それ
- アプリ環境に合わせて
- ボーマン
- この
- それらの
- 時間
- 〜へ
- トークン
- トークン
- トータル
- インタビュー
- 試します
- チュートリアル
- 2
- 下
- us
- つかいます
- 中古
- ユーザー
- 「DeckleBenchは非常に使いやすく最適なソリューションを簡単に見つけることができるため、稼働率が向上しコストも削減した。当社の旧システムは良かったが改善は期待していなかった。
- 使用されます
- 多様
- さまざまな
- バージョン
- ビジョン
- 欲しいです
- we
- ウェブ
- ウェブアプリケーション
- which
- while
- 誰
- ワイド
- 広い範囲
- 意志
- 書き込み
- 貴社
- あなたの
- ゼファーネット