Mixtral 8x7b:n käyttäminen Google Colabissa ilmaiseksi – KDnuggets

Kuva tekijältä
 

Tässä viestissä tutkimme uutta huippuluokan avoimen lähdekoodin mallia nimeltä Mixtral 8x7b. Opimme myös käyttämään sitä LLaMA C++ -kirjaston avulla ja kuinka ajaa suuria kielimalleja pienemmällä tietokoneella ja muistilla.

Mixtral 8x7b on Mistral AI:n luoma korkealaatuinen harvaan asiantuntijayhdistelmä (SMoE) -malli avoimilla painoilla. Se on lisensoitu Apache 2.0:lla ja ylittää Llama 2 70B:n useimmissa vertailuissa, mutta sillä on kuusi kertaa nopeampi päättely. Mixtral vastaa tai voittaa GPT6:n useimmissa vakiovertailuissa ja on paras avoimen painon malli kustannus/suorituskykysuhteen suhteen.

Kuva Asiantuntijoiden sekoitus
 

Mixtral 8x7B käyttää vain dekooderin harvaa asiantuntijoiden yhdistelmäverkkoa. Tämä sisältää myötäkytkentälohkon, joka valitsee kahdeksasta parametriryhmästä, ja reititinverkko valitsee kaksi näistä ryhmistä kullekin tunnisteelle yhdistäen niiden lähdöt additiivisesti. Tämä menetelmä parantaa mallin parametrien määrää samalla kun se hallitsee kustannuksia ja latenssia, mikä tekee siitä yhtä tehokkaan kuin 8 B:n malli, vaikka kokonaisparametreja on 12.9 B.

Mixtral 8x7B -malli on erinomainen käsittelemään laajaa 32 XNUMX tokenin kontekstia ja tukee useita kieliä, mukaan lukien englanti, ranska, italia, saksa ja espanja. Se osoittaa vahvaa suorituskykyä koodin luomisessa, ja se voidaan hienosäätää käskyjä noudattavaksi malliksi, mikä saavuttaa korkeita pisteitä MT-Benchin kaltaisissa vertailuissa.

LLaMA.cpp on C/C++-kirjasto, joka tarjoaa tehokkaan käyttöliittymän suurille kielimalleille (LLM), jotka perustuvat Facebookin LLM-arkkitehtuuriin. Se on kevyt ja tehokas kirjasto, jota voidaan käyttää monenlaisiin tehtäviin, kuten tekstin luomiseen, kääntämiseen ja kysymyksiin vastaamiseen. LLaMA.cpp tukee laajaa valikoimaa LLM:itä, mukaan lukien LLaMA, LLaMA 2, Falcon, Alpaca, Mistral 7B, Mixtral 8x7B ja GPT4ALL. Se on yhteensopiva kaikkien käyttöjärjestelmien kanssa ja voi toimia sekä prosessoreilla että GPU:illa.

Tässä osiossa käytämme llama.cpp-verkkosovellusta Colabissa. Kirjoittamalla muutaman rivin koodia voit kokea uuden huippuluokan mallin suorituskyvyn tietokoneellasi tai Google Colabissa.

Päästä alkuun

Ensin lataamme llama.cpp GitHub -arkiston alla olevan komentorivin avulla: 

!git clone --depth 1 https://github.com/ggerganov/llama.cpp.git

Tämän jälkeen muutamme hakemiston arkistoon ja asennamme llama.cpp:n `make`-komennolla. Asennamme llama.cpp:n NVidia GPU:lle, jossa on CUDA asennettuna. 

%cd llama.cpp

!make LLAMA_CUBLAS=1

Lataa malli

Voimme ladata mallin Hugging Face Hubista valitsemalla sopivan version .gguf-mallitiedostosta. Lisätietoja eri versioista löytyy osoitteesta TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF.

Kuva TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF
 

Voit ladata mallin nykyiseen hakemistoon komennolla "wget". 

!wget https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q2_K.gguf

LLaMA-palvelimen ulkoinen osoite

Kun käytämme LLaMA-palvelinta, se antaa meille paikallisen palvelimen IP-osoitteen, joka on hyödytön meille Colabissa. Tarvitsemme yhteyden localhost-välityspalvelimeen käyttämällä Colab-ytimen välityspalvelinporttia. 

Kun olet suorittanut alla olevan koodin, saat maailmanlaajuisen hyperlinkin. Käytämme tätä linkkiä päästäksemme verkkosovellukseemme myöhemmin. 

from google.colab.output import eval_js
print(eval_js("google.colab.kernel.proxyPort(6589)"))

https://8fx1nbkv1c8-496ff2e9c6d22116-6589-colab.googleusercontent.com/

Palvelin käynnissä

LLaMA C++ -palvelimen suorittamiseksi sinun on annettava palvelinkomento mallitiedoston sijainnin ja oikean portin numeron kanssa. On tärkeää varmistaa, että portin numero vastaa edellisessä vaiheessa välityspalvelimen porttia koskevaa porttinumeroa.  

%cd /content/llama.cpp

!./server -m mixtral-8x7b-instruct-v0.1.Q2_K.gguf -ngl 27 -c 2048 --port 6589

Chat-verkkosovellukseen pääsee napsauttamalla välityspalvelinportin hyperlinkkiä edellisessä vaiheessa, koska palvelin ei ole käynnissä paikallisesti.

LLaMA C++ Webapp

Ennen kuin aloitamme chatbotin käytön, meidän on mukautettava se. Korvaa "LLaMA" mallisi nimellä kehoteosiossa. Lisäksi muokkaa käyttäjänimeä ja botin nimeä erotellaksesi luodut vastaukset.

Aloita chattailu vierittämällä alas ja kirjoittamalla chat-osioon. Voit vapaasti esittää teknisiä kysymyksiä, joihin muut avoimen lähdekoodin mallit eivät ole vastanneet kunnolla. 

Jos kohtaat ongelmia sovelluksen kanssa, voit yrittää käyttää sitä itse Google Colabillani: https://colab.research.google.com/drive/1gQ1lpSH-BhbKN-DdBmq5r8-8Rw8q1p9r?usp=sharing

Tämä opetusohjelma sisältää kattavan oppaan edistyneen avoimen lähdekoodin Mixtral 8x7b -mallin käyttämiseen Google Colabissa LLaMA C++ -kirjaston avulla. Muihin malleihin verrattuna Mixtral 8x7b tarjoaa erinomaisen suorituskyvyn ja tehokkuuden, joten se on erinomainen ratkaisu niille, jotka haluavat kokeilla suuria kielimalleja, mutta joilla ei ole laajoja laskentaresursseja. Voit käyttää sitä helposti kannettavalla tietokoneellasi tai ilmaisella pilvipalvelulla. Se on käyttäjäystävällinen, ja voit jopa ottaa chat-sovelluksesi käyttöön muiden käytettäväksi ja kokeiltavaksi.

Toivottavasti tästä yksinkertaisesta ratkaisusta suuren mallin käyttämiseen oli apua. Etsin aina yksinkertaisia ​​ja parempia vaihtoehtoja. Jos sinulla on vielä parempi ratkaisu, kerro siitä minulle, niin käsittelen sitä ensi kerralla.
 
 

Abid Ali Awan (@1abidaliawan) on sertifioitu datatieteilijä, joka rakastaa koneoppimismallien rakentamista. Tällä hetkellä hän keskittyy sisällöntuotantoon ja kirjoittaa teknisiä blogeja koneoppimisesta ja datatieteen teknologioista. Abidilla on maisterin tutkinto teknologiajohtamisesta ja kandidaatin tutkinto tietoliikennetekniikasta. Hänen visionsa on rakentaa tekoälytuote graafisen hermoverkon avulla opiskelijoille, jotka kamppailevat mielenterveysongelmista.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/running-mixtral-8x7b-on-google-colab-for-free?utm_source=rss&utm_medium=rss&utm_campaign=running-mixtral-8x7b-on-google-colab-for-free