A Mixtral 8x7b futtatása a Google Colabban ingyen – KDnuggets

Újra kiadta Platón

Követő: 0

A Mixtral 8x7b futtatása a Google Colabban ingyenes
A kép szerzője

Ebben a bejegyzésben a Mixtral 8x7b nevű új, legkorszerűbb nyílt forráskódú modellt fogjuk felfedezni. Megtanuljuk azt is, hogyan érhetjük el a LLaMA C++ könyvtár használatával, és hogyan futtathatunk nagy nyelvi modelleket csökkentett számítási és memória mellett.

Mixtral 8x7b a Mistral AI által létrehozott, kiváló minőségű szakértők (SMoE) modell nyitott súlyokkal. Az Apache 2.0 licenc alatt van, és a legtöbb benchmarkon felülmúlja a Llama 2 70B-t, miközben hatszor gyorsabb következtetést von le. A Mixtral megfelel a GPT6-nek, vagy felülmúlja a legtöbb szabványos benchmarkot, és a legjobb nyitott súlyú modell költség/teljesítmény tekintetében.

A Mixtral 8x7b futtatása a Google Colabban ingyenes
Kép Szakértők keveréke

A Mixtral 8x7B csak dekóderrel rendelkező, ritka szakértői hálózatot használ. Ez magában foglal egy előrecsatolt blokkot, amely 8 paramétercsoport közül választhat, a router-hálózat pedig két csoportot választ minden tokenhez, és ezek kimeneteit additív módon kombinálja. Ez a módszer növeli a modell paramétereinek számát, miközben kezeli a költségeket és a késleltetést, így olyan hatékony, mint egy 12.9B modell, annak ellenére, hogy összesen 46.7B paraméterrel rendelkezik.

A Mixtral 8x7B modell kiválóan kezeli a 32 XNUMX tokenek széles kontextusát, és több nyelvet is támogat, beleértve az angolt, a franciát, az olaszt, a németet és a spanyolt. Erős teljesítményt mutat a kódgenerálásban, és finomhangolható egy utasítást követő modellre, ami magas pontszámokat ér el olyan benchmarkokon, mint az MT-Bench.

LLaMA.cpp egy C/C++ könyvtár, amely nagy teljesítményű felületet biztosít a Facebook LLM architektúráján alapuló nagy nyelvi modellekhez (LLM). Ez egy könnyű és hatékony könyvtár, amely számos feladathoz használható, beleértve a szöveggenerálást, a fordítást és a kérdések megválaszolását. A LLaMA.cpp az LLM-ek széles skáláját támogatja, beleértve a LLaMA-t, a LLaMA 2-t, a Falcon-t, az Alpaca-t, a Mistral 7B-t, a Mixtral 8x7B-t és a GPT4ALL-t. Minden operációs rendszerrel kompatibilis, és CPU-n és GPU-n is működhet.

Ebben a részben a llama.cpp webalkalmazást fogjuk futtatni a Colab rendszeren. Néhány sornyi kód megírásával megtapasztalhatja az új, csúcstechnológiás modell teljesítményét számítógépén vagy a Google Colabban.

Elkezdeni

Először is letöltjük a llama.cpp GitHub adattárat az alábbi parancssor használatával:

!git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

Ezt követően könyvtárat cserélünk a tárolóba, és a `make` paranccsal telepítjük a llama.cpp fájlt. A telepített CUDA-val rendelkező NVidia GPU-hoz telepítjük a llama.cpp fájlt.

%cd llama.cpp

!make LLAMA_CUBLAS=1

Töltse le a modellt

A modellt a Hugging Face Hub-ról tölthetjük le, ha kiválasztjuk a `.gguf` modellfájl megfelelő verzióját. A különböző verziókról további információk találhatók a TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF.

A Mixtral 8x7b futtatása a Google Colabban ingyenes
Kép TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF

A "wget" paranccsal letöltheti a modellt az aktuális könyvtárból.

!wget https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf

A LLaMA szerver külső címe

Amikor a LLaMA szervert futtatjuk, az ad nekünk egy localhost IP-címet, amely haszontalan számunkra a Colabban. A Colab kernel proxy portjának használatával csatlakoznunk kell a localhost proxyhoz.

Az alábbi kód futtatása után megkapja a globális hiperhivatkozást. Ezt a hivatkozást használjuk a későbbi webalkalmazásunk eléréséhez.

from google.colab.output import eval_js
print(eval_js("google.colab.kernel.proxyPort(6589)"))

https://8fx1nbkv1c8-496ff2e9c6d22116-6589-colab.googleusercontent.com/

A szerver futtatása

A LLaMA C++ szerver futtatásához meg kell adnia a szerver parancsot a modellfájl helyével és a megfelelő portszámmal. Fontos megbizonyosodni arról, hogy a portszám megegyezik azzal, amelyet az előző lépésben kezdeményeztünk a proxyportnál.

%cd /content/llama.cpp

!./server -m mixtral-8x7b-instruct-v0.1.Q2_K.gguf -ngl 27 -c 2048 --port 6589

A Mixtral 8x7b futtatása a Google Colabban ingyenes

A chat webalkalmazás az előző lépésben a proxy port hiperhivatkozására kattintva érhető el, mivel a szerver nem fut helyileg.

LLaMA C++ Webapp

Mielőtt elkezdené használni a chatbotot, testre kell szabnunk. Cserélje le a „LLaMA” szót a modell nevével a prompt részben. Ezenkívül módosítsa a felhasználónevet és a robotnevet, hogy megkülönböztesse a generált válaszokat.

A Mixtral 8x7b futtatása a Google Colabban ingyenes

A csevegés megkezdéséhez görgessen lefelé, és írja be a csevegés szakaszba. Nyugodtan tegyen fel olyan technikai kérdéseket, amelyekre más nyílt forráskódú modellek nem tudtak megfelelő választ adni.

A Mixtral 8x7b futtatása a Google Colabban ingyenes

Ha problémákat tapasztal az alkalmazással kapcsolatban, megpróbálhatja önállóan futtatni a Google Colab segítségével: https://colab.research.google.com/drive/1gQ1lpSH-BhbKN-DdBmq5r8-8Rw8q1p9r?usp=sharing

Ez az oktatóanyag átfogó útmutatót nyújt a fejlett nyílt forráskódú modell, a Mixtral 8x7b futtatásához a Google Colab rendszeren a LLaMA C++ könyvtár használatával. Más modellekhez képest a Mixtral 8x7b kiváló teljesítményt és hatékonyságot nyújt, így kiváló megoldás azok számára, akik nagy nyelvi modellekkel szeretnének kísérletezni, de nem rendelkeznek kiterjedt számítási erőforrásokkal. Könnyedén futtathatja laptopján vagy ingyenes számítási felhőn. Felhasználóbarát, és még a csevegőalkalmazást is üzembe helyezheti mások számára, hogy használják és kísérletezzenek vele.

Remélem, hasznosnak találta ezt az egyszerű megoldást a nagy modell futtatására. Mindig egyszerű és jobb lehetőségeket keresek. Ha van még jobb megoldása, kérem, jelezze, és legközelebb kitérek rá.

Abid Ali Awan (@1abidaliawan) okleveles adattudós szakember, aki szereti a gépi tanulási modellek építését. Jelenleg tartalomkészítéssel foglalkozik, és technikai blogokat ír a gépi tanulásról és az adattudományi technológiákról. Abid mesterdiplomát szerzett technológiamenedzsmentből és alapdiplomát távközlési mérnökből. Elképzelése az, hogy egy MI-terméket hozzon létre egy gráf neurális hálózat segítségével a mentális betegséggel küzdő diákok számára.