Dolly 2.0: ChatGPT Open Source Alternative For Commercial Use

Újra kiadta Platón

Követő: 0

Dolly 2.0: ChatGPT nyílt forráskódú alternatíva kereskedelmi használatra
Kép a szerzőtől | Bing Image Creator

Dolly 2.0 egy nyílt forráskódú, utasításkövető, nagy nyelvi modell (LLM), amelyet egy ember által generált adatkészleten finomítottak. Kutatási és kereskedelmi célokra egyaránt használható.

Dolly 2.0: ChatGPT nyílt forráskódú alternatíva kereskedelmi használatra
Kép Hugging Face Space – RamAnanth1

Korábban a Databricks csapata megjelent Dolly 1.0, LLM, amely a ChatGPT-hez hasonló utasításokat mutat be, és kevesebb, mint 30 dollárba kerül a képzés. A Stanford Alpaca csapat adatkészletét használta, amely korlátozott licenc alatt állt (csak kutatás).

A Dolly 2.0 megoldotta ezt a problémát a 12B paraméteres nyelvi modell finomhangolásával (Pythia). Mind a modell, mind az adatkészlet kereskedelmi használatra elérhető.

A Dolly 1.0 egy Stanford Alpaca adatkészletre lett kiképezve, amelyet OpenAI API-val hoztak létre. Az adatkészlet tartalmazza a ChatGPT kimenetét, és megakadályozza, hogy bárki felhasználja azt az OpenAI-val való versenyre. Röviden, ezen adatkészlet alapján nem építhet kereskedelmi chatbotot vagy nyelvi alkalmazást.

Az elmúlt hetekben megjelent legújabb modellek többsége ugyanazoktól a problémáktól szenvedett, mint például a modellek alpaka, Koala, GPT4Allés vikunya. A megkerüléshez új, kiváló minőségű adatkészleteket kell létrehoznunk, amelyeket kereskedelmi használatra is fel lehet használni, és ezt tette a Databricks csapata a databricks-dolly-15k adatkészlettel.

Az új adatkészlet 15,000 XNUMX kiváló minőségű, emberi címkével ellátott prompt/válaszpárt tartalmaz, amelyek segítségével nagy nyelvi modelleket lehet hangolni. A databricks-dolly-15k adatkészlet jár hozzá Creative Commons Nevezd meg! – Nevezd meg! 3.0 Unported License, amellyel bárki használhatja, módosíthatja és kereskedelmi alkalmazást hozhat létre rajta.

Hogyan hozták létre a databricks-dolly-15k adatkészletet?

Az OpenAI kutatás papír kijelenti, hogy az eredeti InstructGPT modellt 13,000 13 felszólításra és válaszra tanították. Ezen információk felhasználásával a Databricks csapata elkezdett dolgozni rajta, és kiderült, hogy 5,000 ezer kérdés és válasz generálása nehéz feladat volt. Nem használhatnak szintetikus adatokat vagy mesterséges intelligencia generatív adatokat, és minden kérdésre eredeti választ kell generálniuk. Itt döntöttek úgy, hogy a Databricks XNUMX alkalmazottját felhasználják ember által generált adatok létrehozására.

A Databricks versenyt hirdetett, amelyen a legjobb 20 címkéző nagy díjat kap. Ezen a versenyen a Databricks 5,000 alkalmazottja vett részt, akik nagyon érdeklődtek az LLM-ek iránt

A dolly-v2-12b nem a legmodernebb modell. Egyes értékelési benchmarkokban alulmúlja a dolly-v1-6b teljesítményt. Ennek oka lehet a mögöttes finomhangoló adatkészletek összetétele és mérete. A Dolly modellcsalád aktív fejlesztés alatt áll, így előfordulhat, hogy a jövőben megjelenik egy frissített, jobb teljesítményű verzió.

Röviden: a dolly-v2-12b modell jobban teljesített, mint az EleutherAI/gpt-neox-20b és az EleutherAI/pythia-6.9b.

Dolly 2.0: ChatGPT nyílt forráskódú alternatíva kereskedelmi használatra
Kép Ingyenes Dolly

A Dolly 2.0 100%-ban nyílt forráskódú. Tanítási kóddal, adatkészlettel, modellsúlyokkal és következtetési folyamattal érkezik. Minden alkatrész kereskedelmi használatra alkalmas. A modellt a Hugging Face Spaces oldalon próbálhatod ki Dolly V2, RamAnanth1.

Dolly 2.0: ChatGPT nyílt forráskódú alternatíva kereskedelmi használatra
Kép Átölelő arc

Forrás:

Dolly 2.0 demó: Dolly V2, RamAnanth1

Abid Ali Awan (@1abidaliawan) okleveles adattudós szakember, aki szereti a gépi tanulási modellek építését. Jelenleg tartalomkészítéssel foglalkozik, és technikai blogokat ír a gépi tanulásról és az adattudományi technológiákról. Abid mesterdiplomát szerzett technológiamenedzsmentből és alapdiplomát távközlési mérnökből. Elképzelése az, hogy egy MI-terméket hozzon létre egy gráf neurális hálózat segítségével a mentális betegséggel küzdő diákok számára.