Dolly 2.0: ChatGPT avoimen lähdekoodin vaihtoehto kaupalliseen käyttöön

Kuva tekijältä | Bing Image Creator
 

Dolly 2.0 on avoimen lähdekoodin, ohjeseurattu, suuri kielimalli (LLM), joka on hienosäädetty ihmisen luomalla tietojoukolla. Sitä voidaan käyttää sekä tutkimukseen että kaupallisiin tarkoituksiin. 

Kuva Hugging Face Space, kirjoittanut RamAnanth1
 

Aiemmin Databricks-tiimi julkaisi Dolly 1.0, LLM, jossa on ChatGPT:n kaltaisia ​​ohjeita seuraamiseen ja jonka harjoittelu maksaa alle 30 dollaria. Se käytti Stanford Alpaca -tiimin tietojoukkoa, joka oli rajoitetun lisenssin alainen (vain tutkimus). 

Dolly 2.0 on ratkaissut tämän ongelman hienosäätämällä 12B-parametrikielimallia (Pythia) korkealaatuisessa ihmisen luomassa ohjeessa seuraavassa tietojoukossa, jonka Datbricksin työntekijä on merkinnyt. Sekä malli että tietosarja ovat saatavilla kaupalliseen käyttöön.

Dolly 1.0 koulutettiin Stanford Alpaca -tietojoukolle, joka luotiin OpenAI API:lla. Tietojoukko sisältää ChatGPT:n tulosteen ja estää ketään käyttämästä sitä kilpailemaan OpenAI:n kanssa. Lyhyesti sanottuna et voi rakentaa kaupallista chatbotia tai kielisovellusta tämän tietojoukon perusteella. 

Useimmat viime viikkoina julkaistut mallit kärsivät samoista ongelmista, kuten mallit alpakka, Koala, GPT4Kaikkija vikunjan. Jotta voimme kiertää, meidän on luotava uusia korkealaatuisia tietojoukkoja, joita voidaan käyttää kaupalliseen käyttöön, ja näin Databricks-tiimi on tehnyt databricks-dolly-15k -tietojoukon kanssa. 

Uusi tietojoukko sisältää 15,000 XNUMX korkealaatuista ihmisen merkitsemää kehote/vastaus-paria, joita voidaan käyttää ohjeiden virittämiseen suuria kielimalleja. The databricks-dolly-15k tietojoukon mukana Creative Commons Attribution-ShareAlike 3.0 Unported License, jonka avulla kuka tahansa voi käyttää sitä, muokata sitä ja luoda kaupallisen sovelluksen siihen. 

Kuinka he loivat databricks-dolly-15k-tietojoukon?

OpenAI-tutkimus paperi toteaa, että alkuperäinen InstructGPT-malli opetettiin 13,000 13 kehotteeseen ja vastaukseen. Tietojen avulla Databricks-tiimi alkoi työstää sitä, ja kävi ilmi, että 5,000 XNUMX kysymyksen ja vastauksen luominen oli vaikea tehtävä. He eivät voi käyttää synteettistä dataa tai tekoälyn generatiivista dataa, ja heidän on luotava alkuperäiset vastaukset jokaiseen kysymykseen. Täällä he ovat päättäneet käyttää XNUMX XNUMX Databricksin työntekijää ihmisten tuottaman tiedon luomiseen. 

Databricks on järjestänyt kilpailun, jossa 20 parasta leimaajaa palkitaan. Tähän kilpailuun osallistui 5,000 XNUMX Databricksin työntekijää, jotka olivat erittäin kiinnostuneita LLM:istä

Dolly-v2-12b ei ole huippuluokan malli. Se on huonompi kuin dolly-v1-6b joissakin arviointikriteereissä. Se saattaa johtua taustalla olevien hienosäätötietoaineistojen koostumuksesta ja koosta. Dolly-malliperhettä kehitetään aktiivisesti, joten saatat nähdä päivitetyn version paremmalla suorituskyvyllä tulevaisuudessa.  

Lyhyesti sanottuna dolly-v2-12b-malli on toiminut paremmin kuin EleutherAI/gpt-neox-20b ja EleutherAI/pythia-6.9b.

Kuva Ilmainen Dolly

Dolly 2.0 on 100 % avoimen lähdekoodin. Sen mukana tulee koulutuskoodi, tietojoukko, mallipainot ja päätelmäputki. Kaikki komponentit soveltuvat kaupalliseen käyttöön. Mallia voit kokeilla Hugging Face Spacesissa RamAnanth2:n Dolly V1.

Kuva Halaaminen kasvot
 

Resurssien: 

Dolly 2.0 -demo: RamAnanth2:n Dolly V1
 
 
Abid Ali Awan (@1abidaliawan) on sertifioitu datatieteilijä, joka rakastaa koneoppimismallien rakentamista. Tällä hetkellä hän keskittyy sisällöntuotantoon ja kirjoittaa teknisiä blogeja koneoppimisesta ja datatieteen teknologioista. Abidilla on maisterin tutkinto teknologiajohtamisesta ja kandidaatin tutkinto tietoliikennetekniikasta. Hänen visionsa on rakentaa tekoälytuote graafisen hermoverkon avulla opiskelijoille, jotka kamppailevat mielenterveysongelmista.
 

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• Platoblockchain. Web3 Metaverse Intelligence. Tietoa laajennettu. Pääsy tästä.
• Tulevaisuuden lyöminen Adryenn Ashley. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/2023/04/dolly-20-chatgpt-open-source-alternative-commercial.html?utm_source=rss&utm_medium=rss&utm_campaign=dolly-2-0-chatgpt-open-source-alternative-for-commercial-use