Dolly 2.0: ChatGPT åpen kildekode-alternativ for kommersiell bruk

Publisert av Platon

Følgere: 0

Dolly 2.0: ChatGPT åpen kildekode-alternativ for kommersiell bruk
Bilde fra forfatter | Bing Image Creator

Dolly 2.0 er en åpen kildekode, instruksjonsfølt, stor språkmodell (LLM) som ble finjustert på et menneskegenerert datasett. Den kan brukes til både forskning og kommersielle formål.

Dolly 2.0: ChatGPT åpen kildekode-alternativ for kommersiell bruk
Bilde fra Hugging Face Space av RamAnanth1

Tidligere ga Databricks-teamet ut Dolly 1.0, LLM, som viser ChatGPT-lignende instruksjoner etter evne og koster mindre enn $30 å trene. Den brukte Stanford Alpaca-teamdatasettet, som var under en begrenset lisens (kun forskning).

Dolly 2.0 har løst dette problemet ved å finjustere 12B-parameterspråkmodellen (Pythia) på en menneskeskapt instruksjon av høy kvalitet i følgende datasett, som ble merket av en Datbricks-ansatt. Både modell og datasett er tilgjengelig for kommersiell bruk.

Dolly 1.0 ble trent på et Stanford Alpaca-datasett, som ble opprettet ved hjelp av OpenAI API. Datasettet inneholder utdata fra ChatGPT og hindrer noen i å bruke det til å konkurrere med OpenAI. Kort sagt, du kan ikke bygge en kommersiell chatbot eller språkapplikasjon basert på dette datasettet.

De fleste av de nyeste modellene utgitt de siste ukene led av de samme problemene, modeller som Alpaca, Koala, GPT4Allog Vicuna. For å komme oss rundt må vi lage nye høykvalitets datasett som kan brukes til kommersiell bruk, og det er det Databricks-teamet har gjort med databricks-dolly-15k datasettet.

Det nye datasettet inneholder 15,000 XNUMX høykvalitets menneskemerkede spørsmål/svar-par som kan brukes til å designe instruksjonsjustering av store språkmodeller. De databricks-dolly-15k datasettet følger med Creative Commons Attribution-ShareAlike 3.0 Unported-lisens, som lar hvem som helst bruke den, endre den og lage en kommersiell applikasjon på den.

Hvordan opprettet de databricks-dolly-15k datasettet?

OpenAI-forskningen papir oppgir at den originale InstructGPT-modellen ble trent på 13,000 13 forespørsler og svar. Ved å bruke denne informasjonen begynte Databricks-teamet å jobbe med det, og det viser seg at å generere 5,000 XNUMX spørsmål og svar var en vanskelig oppgave. De kan ikke bruke syntetiske data eller AI-generative data, og de må generere originale svar på hvert spørsmål. Det er her de har bestemt seg for å bruke XNUMX ansatte i Databricks til å lage menneskeskapte data.

Databricks har satt opp en konkurranse, der de 20 beste merkerne vil få en stor pris. I denne konkurransen deltok 5,000 Databricks-ansatte som var svært interessert i LLM-er

Dolly-v2-12b er ikke en toppmoderne modell. Den presterer dårligere enn dolly-v1-6b i noen evalueringsbenchmarks. Det kan skyldes sammensetningen og størrelsen på de underliggende finjusteringsdatasettene. Dolly-modellfamilien er under aktiv utvikling, så du vil kanskje se en oppdatert versjon med bedre ytelse i fremtiden.

Kort fortalt har dolly-v2-12b-modellen prestert bedre enn EleutherAI/gpt-neox-20b og EleutherAI/pythia-6.9b.

Dolly 2.0: ChatGPT åpen kildekode-alternativ for kommersiell bruk
Bilde fra Gratis Dolly

Dolly 2.0 er 100 % åpen kildekode. Den kommer med treningskode, datasett, modellvekter og inferensrørledning. Alle komponentene er egnet for kommersiell bruk. Du kan prøve ut modellen på Hugging Face Spaces Dolly V2 av RamAnanth1.

Dolly 2.0: ChatGPT åpen kildekode-alternativ for kommersiell bruk
Bilde fra Klemme ansiktet

Ressurs:

Dolly 2.0-demo: Dolly V2 av RamAnanth1

Abid Ali Awan (@1abidaliawan) er en sertifisert dataforsker som elsker å bygge maskinlæringsmodeller. For tiden fokuserer han på innholdsskaping og skriver tekniske blogger om maskinlæring og datavitenskapsteknologier. Abid har en mastergrad i teknologiledelse og en bachelorgrad i telekommunikasjonsteknikk. Hans visjon er å bygge et AI-produkt ved å bruke et grafisk nevralt nettverk for studenter som sliter med psykiske lidelser.