Izboljšanje vaših LLM z RLHF na Amazon SageMaker | Spletne storitve Amazon

Okrepljeno učenje iz človeških povratnih informacij (RLHF) je priznano kot industrijska standardna tehnika za zagotavljanje, da veliki jezikovni modeli (LLM) proizvajajo vsebino, ki je resnična, neškodljiva in koristna. Tehnika deluje tako, da uri "model nagrajevanja", ki temelji na človeških povratnih informacijah, in uporablja ta model kot funkcijo nagrajevanja za optimizacijo agentove politike s pomočjo učenja z okrepitvijo (RL). RLHF se je izkazal za bistvenega pomena za izdelavo LLM-jev, kot sta ChatGPT OpenAI in Claude podjetja Anthropic, ki so usklajeni s človeškimi cilji. Minili so dnevi, ko potrebujete nenaravno hitro inženirstvo, da dobite osnovne modele, kot je GPT-3, za rešitev vaših nalog.

Pomembno opozorilo pri RLHF je, da je zapleten in pogosto nestabilen postopek. Kot metoda RLHF zahteva, da morate najprej usposobiti model nagrajevanja, ki odraža človeške preference. Nato je treba LLM natančno nastaviti, da poveča ocenjeno nagrado modela nagrajevanja, ne da bi se preveč oddaljil od izvirnega modela. V tej objavi bomo prikazali, kako natančno prilagoditi osnovni model z RLHF na Amazon SageMaker. Pokažemo vam tudi, kako izvesti človeško vrednotenje, da kvantificirate izboljšave nastalega modela.

Predpogoji

Preden začnete, se prepričajte, da razumete, kako uporabljati naslednje vire:

Pregled rešitev

Številne aplikacije Generative AI se začnejo z osnovnimi LLM-ji, kot je GPT-3, ki so bili usposobljeni za ogromne količine besedilnih podatkov in so na splošno na voljo javnosti. Osnovni LLM-ji so privzeto nagnjeni k ustvarjanju besedila na nepredvidljiv in včasih škodljiv način, ker ne vedo, kako slediti navodilom. Na primer, glede na poziv, "napiši e-poštno sporočilo mojim staršem in jim zaželi srečno obletnico", lahko osnovni model ustvari odgovor, ki je podoben samodokončanju poziva (npr “in še veliko let skupne ljubezni”), namesto da sledite pozivu kot izrecnemu navodilu (npr. pisno e-poštno sporočilo). To se zgodi, ker je model usposobljen za napovedovanje naslednjega žetona. Za izboljšanje zmožnosti osnovnega modela za sledenje navodilom so človeški označevalci podatkov zadolženi za avtorske odgovore na različne pozive. Zbrani odzivi (pogosto imenovani predstavitveni podatki) se uporabljajo v procesu, imenovanem nadzorovano fino uravnavanje (SFT). RLHF nadalje izboljša in uskladi vedenje modela s človeškimi preferencami. V tej objavi v spletnem dnevniku prosimo označevalce, da rezultate modela razvrstijo na podlagi specifičnih parametrov, kot so uporabnost, resničnost in neškodljivost. Dobljeni podatki o preferencah se uporabljajo za usposabljanje modela nagrajevanja, ki ga nato uporablja algoritem za učenje okrepitve, imenovan Proximal Policy Optimization (PPO), za usposabljanje nadzorovanega natančno nastavljenega modela. Modeli nagrajevanja in učenje z okrepitvijo se uporabljajo iterativno s povratnimi informacijami človeka v zanki.

Naslednji diagram prikazuje to arhitekturo.

V tej objavi v spletnem dnevniku ponazarjamo, kako je mogoče RLHF izvesti na Amazon SageMaker, tako da izvedemo poskus s priljubljenim odprtokodnim RLHF repo Trlx. Z našim eksperimentom prikazujemo, kako lahko RLHF uporabimo za povečanje uporabnosti ali neškodljivosti velikega jezikovnega modela z uporabo javno dostopnih Nabor podatkov o koristnosti in neškodljivosti (HH). zagotavlja Anthropic. Z uporabo tega nabora podatkov izvajamo naš poskus Prenosni računalnik Amazon SageMaker Studio ki teče na ml.p4d.24xlarge primerek. Nazadnje nudimo a Jupyterjev zvezek ponoviti naše poskuse.

Izvedite naslednje korake v zvezku, da prenesete in namestite predpogoje:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Uvoz predstavitvenih podatkov

Prvi korak v RLHF vključuje zbiranje predstavitvenih podatkov za natančno nastavitev osnovnega LLM. Za namen te objave v spletnem dnevniku uporabljamo predstavitvene podatke v naboru podatkov HH, kot je navedeno zgoraj. Predstavitvene podatke lahko naložimo neposredno iz paketa naborov podatkov Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Nadzorovano natančno prilagajanje osnovnega LLM

Naslednji korak je izvedba nadzorovane natančne nastavitve osnovnega LLM. V tej objavi v spletnem dnevniku osnovni model, ki je bil podvržen nadzorovani fini nastavitvi, imenujemo preprosto »model SFT«. Za učenje iz demonstracijskih podatkov je potrebno nadzorovano natančno prilagajanje, tako da LLM dobro opravlja našo pogovorno nalogo in se nauči biti koristen in neškodljiv. V tej objavi uporabljamo javno dostopne EleutherAI/gpt-j-6b model gostuje na Hugging Face. Uporabljamo tudi ogrodje Trlx, ki zagotavlja kodo za nadzorovano natančno nastavitev tega modela.

Za začetek vadbe zaženite naslednje ukaze:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Uvozi prednostne podatke

Kot je prikazano v prejšnjem diagramu, ključni korak v RLHF vključuje pridobivanje podatkov o preferencah. Podatki o preferencah so zbirka primerov, ki prikazujejo, kako ima človek raje izhod enega stroja pred drugim na podlagi meril uporabnosti in neškodljivosti.

Naslednja tabela prikazuje koncept preference:

Usposobite svoj model nagrajevanja

Naš model nagrajevanja temelji na GPT-J-6B in je natančno nastavljen na prej omenjenem naboru podatkov HH. Ker usposabljanje modela nagrajevanja ni osredotočeno na to objavo, bomo uporabili vnaprej usposobljen model nagrajevanja, določen v repo Trlx, Dahoas/gptj-rm-static. Če želite usposobiti svoj model nagrajevanja, si oglejte knjižnica autocrit na GitHubu.

Usposabljanje RLHF

Zdaj, ko smo pridobili vse potrebne komponente za usposabljanje RLHF (tj. model SFT in model nagrajevanja), lahko zdaj začnemo optimizirati politiko z uporabo RLHF.

Da bi to naredili, spremenimo pot do modela SFT v examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Nato izvedemo ukaze za usposabljanje:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Skript sproži model SFT z uporabo njegovih trenutnih uteži in jih nato optimizira pod vodstvom modela nagrajevanja, tako da se nastali model, usposobljen za RLHF, uskladi s človeškimi preferencami. Naslednji diagram prikazuje rezultate nagrajevanja rezultatov modela med napredovanjem usposabljanja RLHF. Usposabljanje za krepitev je zelo spremenljivo, zato krivulja niha, vendar je splošni trend nagrajevanja naraščajoč, kar pomeni, da se rezultat modela vse bolj ujema s človeškimi preferencami glede na model nagrajevanja. Na splošno se nagrada izboljša z -3.42e-1 pri 0-ti ponovitvi na najvišjo vrednost -9.869e-3 pri 3000-ti ponovitvi.

Naslednji diagram prikazuje primer krivulje pri izvajanju RLHF.

Človeška ocena

Ko smo natančno prilagodili naš model SFT z RLHF, zdaj želimo oceniti vpliv postopka natančnega prilagajanja, saj je povezan z našim širšim ciljem ustvarjanja odzivov, ki so koristni in neškodljivi. V podporo temu cilju primerjamo odzive, ki jih ustvari model, natančno nastavljen z RLHF, z odzivi, ki jih ustvari model SFT. Eksperimentiramo s 100 pozivi, izpeljanimi iz testnega nabora nabora podatkov HH. Vsak poziv programsko prenesemo skozi SFT in natančno nastavljen model RLHF, da dobimo dva odziva. Nazadnje prosimo človeške označevalce, da izberejo želeni odziv na podlagi zaznane uporabnosti in neškodljivosti.

Človeški pristop ocenjevanja definira, uvede in upravlja Amazon SageMaker Ground Truth Plus storitev označevanja. SageMaker Ground Truth Plus strankam omogoča pripravo visokokakovostnih obsežnih podatkovnih nizov za usposabljanje za natančno nastavitev temeljnih modelov za izvajanje človeških generativnih nalog AI. Izkušenim ljudem omogoča tudi pregled rezultatov modela, da jih uskladijo s človeškimi željami. Poleg tega izdelovalcem aplikacij omogoča prilagajanje modelov z uporabo podatkov njihove industrije ali podjetja med pripravo naborov podatkov za usposabljanje. Kot je prikazano v prejšnji objavi v blogu (»Visokokakovostne človeške povratne informacije za vaše generativne aplikacije AI iz Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus zagotavlja poteke dela, vmesnike za označevanje in usposobljeno delovno silo za ustvarjanje visokokakovostnih podatkov o človeških povratnih informacijah za izpolnitev teh nalog v popolnoma upravljani storitvi na ključ v imenu stranke. Uporabljamo vmesnik opravil, podoben spodnjemu uporabniškemu vmesniku, da olajšamo človeško ocenjevanje našega poskusa.

Naš poskus vrednotenja modela zaključimo z ugotavljanjem, kateri od obeh modelov – SFT ali RLHF – je povzročil odgovore, ki so bili pogosteje priljubljeni. Za 84 od 100 pozivov in odgovorov, ki jih ocenjujemo, opazimo, da so odzivi iz modela, natančno nastavljenega z RLHF, vsaj tako dobri kot tisti, ki jih ustvari model, natančno nastavljen s SFT (model, naučen z RLHF, je večja prednost 30-krat, izenačeno 54-krat). Kot je prikazano v spodnji tabeli, kvalitativna primerjava odzivov modela zagotavlja podporne dokaze, ki ponazarjajo, kako je model RLHF ponavadi bolj koristen in dejansko pravilen kot model SFT. Če vzamemo kot skupino, naš eksperiment kaže, da RLHF dejansko izboljša sposobnost modela za ustvarjanje rezultatov, ki so bolje usklajeni z vrednostmi, ki nas zanimajo.

Ocena toksičnosti

Da bi kvantificirali, kako RLHF zmanjša toksičnost v generacijah modelov, primerjamo priljubljeno Komplet testov RealToxicityPrompt in merite strupenost na neprekinjeni lestvici od 0 (ni strupeno) do 1 (strupeno). Naključno izberemo 1,000 testnih primerov iz nabora testov RealToxicityPrompt in primerjamo toksičnost rezultatov modelov SFT in RLHF. Z našo oceno ugotavljamo, da model RLHF dosega nižjo toksičnost (povprečno 0.129) kot model SFT (povprečno 0.134), kar dokazuje učinkovitost tehnike RLHF pri zmanjševanju škodljivosti izhoda.

Čiščenje

Ko končate, izbrišite vire v oblaku, ki ste jih ustvarili, da se izognete dodatnim stroškom. Če ste se odločili za zrcaljenje tega poskusa v prenosnem računalniku SageMaker, morate samo ustaviti primerek prenosnega računalnika, ki ste ga uporabljali. Za več informacij glejte dokumentacijo vodnika za razvijalce AWS Sagemaker o "Clean Up".

zaključek

V tej objavi smo pokazali, kako usposobiti osnovni model, GPT-J-6B, z RLHF na Amazon SageMaker. Zagotovili smo kodo, ki pojasnjuje, kako natančno prilagoditi osnovni model z nadzorovanim usposabljanjem, usposobiti model nagrajevanja in usposabljanje RL s človeškimi referenčnimi podatki. Pokazali smo, da imajo označevalci prednost model, usposobljen za RLHF. Zdaj lahko ustvarite zmogljive modele, prilagojene vaši aplikaciji.

Če potrebujete visokokakovostne podatke o usposabljanju za svoje modele, kot so predstavitveni podatki ali podatki o prednostnih nastavitvah, Amazon SageMaker vam lahko pomaga z odstranitvijo nediferenciranega težkega dela, povezanega z gradnjo aplikacij za označevanje podatkov in upravljanjem delovne sile za označevanje. Ko imate podatke, uporabite bodisi spletni vmesnik SageMaker Studio Notebook ali prenosni računalnik, ki je na voljo v repozitoriju GitHub, da dobite svoj model, usposobljen za RLHF.

O avtorjih

Weifeng Chen je uporabni znanstvenik v znanstveni ekipi AWS Human-in-the-loop. Razvija strojno podprte rešitve za označevanje, ki strankam pomagajo doseči drastične pospeške pri pridobivanju temeljnih podatkov, ki zajemajo domeno računalniškega vida, obdelave naravnega jezika in generativne umetne inteligence.

Erran Li je vodja uporabne znanosti pri storitvah humain-in-the-loop, AWS AI, Amazon. Njegovi raziskovalni interesi so 3D globoko učenje ter učenje vizije in jezikovne reprezentacije. Pred tem je bil višji znanstvenik pri Alexa AI, vodja strojnega učenja pri Scale AI in glavni znanstvenik pri Pony.ai. Pred tem je sodeloval z ekipo za zaznavanje pri Uber ATG in ekipo platforme za strojno učenje pri Uberju, kjer je delal na strojnem učenju za avtonomno vožnjo, sistemih strojnega učenja in strateških pobudah umetne inteligence. Kariero je začel v Bell Labs in bil izredni profesor na univerzi Columbia. Součil je vaje na ICML'17 in ICCV'19 ter soorganiziral več delavnic na NeurIPS, ICML, CVPR, ICCV o strojnem učenju za avtonomno vožnjo, 3D-viziji in robotiki, sistemih strojnega učenja in kontradiktornem strojnem učenju. Ima doktorat iz računalništva na univerzi Cornell. Je sodelavec ACM in IEEE.

Koushik Kalyanaraman je inženir za razvoj programske opreme v znanstveni ekipi Human-in-the-loop pri AWS. V prostem času igra košarko in se druži z družino.

Xiong Zhou je višji aplikativni znanstvenik pri AWS. Vodi znanstveno ekipo za geoprostorske zmogljivosti Amazon SageMaker. Njegovo trenutno področje raziskovanja vključuje računalniški vid in učinkovito usposabljanje modelov. V prostem času rad teče, igra košarko in preživlja čas z družino.

Alex Williams je uporabni znanstvenik pri AWS AI, kjer se ukvarja s problemi, povezanimi z interaktivno strojno inteligenco. Preden se je pridružil Amazonu, je bil profesor na Oddelku za elektrotehniko in računalništvo na Univerzi v Tennesseeju. Bil je tudi raziskovalec pri Microsoft Research, Mozilla Research in Univerzi v Oxfordu. Ima doktorat iz računalništva na Univerzi Waterloo.

Ammar Chinoy je generalni direktor/direktor za storitve AWS Human-In-The-Loop. V prostem času se ukvarja s pozitivnim učenjem s svojimi tremi psi: Waffle, Widget in Walker.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/