Forbedring af dine LLM'er med RLHF på Amazon SageMaker | Amazon Web Services

Reinforcement Learning from Human Feedback (RLHF) er anerkendt som industristandardteknikken til at sikre, at store sprogmodeller (LLM'er) producerer indhold, der er sandfærdigt, harmløst og nyttigt. Teknikken fungerer ved at træne en "belønningsmodel" baseret på menneskelig feedback og bruger denne model som en belønningsfunktion til at optimere en agents politik gennem forstærkende læring (RL). RLHF har vist sig at være afgørende for at producere LLM'er såsom OpenAI's ChatGPT og Anthropic's Claude, der er på linje med menneskelige mål. De dage er forbi, hvor du har brug for unaturlig hurtig ingeniørarbejde for at få basismodeller, såsom GPT-3, til at løse dine opgaver.

En vigtig advarsel ved RLHF er, at det er en kompleks og ofte ustabil procedure. Som metode kræver RLHF, at man først skal træne en belønningsmodel, der afspejler menneskelige præferencer. Derefter skal LLM finjusteres for at maksimere belønningsmodellens estimerede belønning uden at glide for langt fra den originale model. I dette indlæg vil vi demonstrere, hvordan man finjusterer en basismodel med RLHF på Amazon SageMaker. Vi viser dig også, hvordan du udfører menneskelig evaluering for at kvantificere forbedringerne af den resulterende model.

Forudsætninger

Før du går i gang, skal du sørge for at forstå, hvordan du bruger følgende ressourcer:

Løsningsoversigt

Mange Generative AI-applikationer er initieret med basis LLM'er, såsom GPT-3, der blev trænet på enorme mængder tekstdata og er generelt tilgængelige for offentligheden. Base LLM'er er som standard tilbøjelige til at generere tekst på en måde, der er uforudsigelig og nogle gange skadelig som følge af, at man ikke ved, hvordan man følger instruktionerne. For eksempel, givet prompten, "skriv en e-mail til mine forældre, der ønsker dem tillykke med jubilæet", kan en basismodel generere et svar, der ligner autofuldførelsen af ​​prompten (f.eks "og mange flere år med kærlighed sammen") i stedet for at følge prompten som en eksplicit instruktion (f.eks. en skriftlig e-mail). Dette sker, fordi modellen er trænet til at forudsige det næste token. For at forbedre basismodellens evne til at følge instruktioner, har menneskelige dataannotatorer til opgave at skrive svar på forskellige prompter. De indsamlede svar (ofte omtalt som demonstrationsdata) bruges i en proces kaldet overvåget finjustering (SFT). RLHF forfiner og tilpasser modellens adfærd yderligere med menneskelige præferencer. I dette blogindlæg beder vi annotatorer om at rangere modeloutput baseret på specifikke parametre, såsom hjælpsomhed, sandfærdighed og harmløshed. De resulterende præferencedata bruges til at træne en belønningsmodel, som igen bruges af en forstærkende læringsalgoritme kaldet Proximal Policy Optimization (PPO) til at træne den overvågede finjusterede model. Belønningsmodeller og forstærkende læring anvendes iterativt med feedback fra mennesker i løkken.

Følgende diagram illustrerer denne arkitektur.

I dette blogindlæg illustrerer vi, hvordan RLHF kan udføres på Amazon SageMaker ved at udføre et eksperiment med den populære, open source RLHF repo Trlx. Gennem vores eksperiment demonstrerer vi, hvordan RLHF kan bruges til at øge hjælpsomheden eller harmløsheden af ​​en stor sprogmodel ved hjælp af den offentligt tilgængelige Hjælpsomhed og harmløshed (HH) datasæt leveret af Anthropic. Ved hjælp af dette datasæt udfører vi vores eksperiment med Amazon SageMaker Studio notesbog der kører på en ml.p4d.24xlarge eksempel. Endelig giver vi en Jupyter notesbog at replikere vores eksperimenter.

Udfør følgende trin i notesbogen for at downloade og installere forudsætningerne:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importer demonstrationsdata

Det første trin i RLHF involverer indsamling af demonstrationsdata for at finjustere en basis LLM. Til formålet med dette blogindlæg bruger vi demonstrationsdata i HH-datasættet som rapporteret ovenfor. Vi kan indlæse demonstrationsdataene direkte fra Hugging Face-datasætpakken:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Overvåget finjustering af en basis LLM

Det næste trin er at udføre overvåget finjustering af en basis LLM. I dette blogindlæg omtaler vi basismodellen, der har gennemgået en superviseret finjustering, blot som "SFT-modellen". Overvåget finjustering er påkrævet for at lære af demonstrationsdata, så en LLM klarer sig godt på vores samtaleopgave og lærer at være hjælpsom og harmløs. I dette indlæg bruger vi det offentligt tilgængelige EleutherAI/gpt-j-6b model hostet på Hugging Face. Vi bruger også Trlx-rammeværket, der giver kode til overvåget finjustering af denne model.

Kør følgende kommandoer for at begynde træningen:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importer præferencedata

Som vist i det foregående diagram involverer et kritisk trin i RLHF at indhente præferencedata. Præferencedata er en samling af eksempler, der demonstrerer, hvordan et menneske foretrækker et maskinoutput frem for et andet baseret på hjælpsomhed og harmløshedskriterier.

Følgende tabel viser begrebet præference:

Træn din belønningsmodel

Vores belønningsmodel er baseret på GPT-J-6B og er finjusteret på det tidligere nævnte HH-datasæt. Da træning af belønningsmodellen ikke er fokus i dette indlæg, vil vi bruge en præ-trænet belønningsmodel specificeret i Trlx repo, Dahoas/gptj-rm-static. Hvis du ønsker at træne din egen belønningsmodel, henvises til autocrit-bibliotek på GitHub.

RLHF Træning

Nu hvor vi har anskaffet alle de nødvendige komponenter til RLHF-træning (dvs. en SFT-model og en belønningsmodel), kan vi nu begynde at optimere politikken ved hjælp af RLHF.

For at gøre dette ændrer vi stien til SFT-modellen i examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Vi kører derefter træningskommandoer:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Scriptet starter SFT-modellen ved hjælp af dens nuværende vægte og optimerer dem derefter under vejledning af en belønningsmodel, så den resulterende RLHF-trænede model stemmer overens med menneskelig præference. Følgende diagram viser belønningsscorerne for modeloutput, efterhånden som RLHF-træningen skrider frem. Forstærkningstræning er meget volatil, så kurven svinger, men den overordnede tendens for belønningen er opadgående, hvilket betyder, at modellens output bliver mere og mere i overensstemmelse med menneskelig præference ifølge belønningsmodellen. Samlet set forbedres belønningen fra -3.42e-1 ved den 0. iteration til den højeste værdi på -9.869e-3 ved den 3000. iteration.

Følgende diagram viser en eksempelkurve ved kørsel af RLHF.

Menneskelig evaluering

Efter at have finjusteret vores SFT-model med RLHF, sigter vi nu mod at evaluere virkningen af ​​finjusteringsprocessen, da den er relateret til vores bredere mål om at producere svar, der er nyttige og harmløse. Til støtte for dette mål sammenligner vi svarene genereret af modellen finjusteret med RLHF med svar genereret af SFT-modellen. Vi eksperimenterer med 100 prompter afledt af testsættet af HH-datasættet. Vi sender programmæssigt hver prompt gennem både SFT og den finjusterede RLHF-model for at opnå to svar. Til sidst beder vi menneskelige annotatorer om at vælge det foretrukne svar baseret på oplevet hjælpsomhed og harmløshed.

Den menneskelige evalueringstilgang er defineret, lanceret og administreret af Amazon SageMaker Ground Truth Plus mærkningstjeneste. SageMaker Ground Truth Plus giver kunderne mulighed for at forberede højkvalitets, storskala træningsdatasæt for at finjustere fundamentmodeller til at udføre menneskelignende generative AI-opgaver. Det giver også dygtige mennesker mulighed for at gennemgå modeloutput for at tilpasse dem til menneskelige præferencer. Derudover gør det det muligt for applikationsbyggere at tilpasse modeller ved hjælp af deres branche- eller virksomhedsdata, mens de forbereder træningsdatasæt. Som vist i et tidligere blogindlæg ("Menneskelig feedback af høj kvalitet til dine generative AI-applikationer fra Amazon SageMaker Ground Truth Plus”), giver SageMaker Ground Truth Plus arbejdsgange, mærkningsgrænseflader og en dygtig arbejdsstyrke til at generere menneskelig feedback-data af høj kvalitet for at udføre disse opgaver i en nøglefærdig, fuldt administreret service på vegne af kunden. Vi bruger en opgavegrænseflade svarende til brugergrænsefladen vist nedenfor for at lette det menneskelige evalueringstrin i vores eksperiment.

Vi afslutter vores modelevalueringseksperiment ved at bestemme, hvilken af ​​de to modeller – SFT eller RLHF – der producerede svar, der var hyppigere foretrukne. For 84 af de 100 prompter og svar, der evalueres, observerer vi, at svarene fra modellen finjusteret med RLHF er mindst lige så gode som eller mere foretrukne end dem, der genereres af modellen finjusteret med SFT (RLHF-trænet model er mere foretrukket 30 gange, uafgjort 54 gange). Som vist i tabellen nedenfor giver en kvalitativ sammenligning af modelsvar understøttende beviser, der illustrerer, hvordan RLHF-modellen har tendens til at være mere nyttig og faktuelt korrekt end SFT-modellen. Taget som et kollektiv, tyder vores eksperiment på, at RLHF faktisk forbedrer modellens evne til at producere output, der er bedre afstemt med værdierne af interesse.

Toksicitetsvurdering

For at kvantificere, hvordan RLHF reducerer toksicitet i modelgenerationerne, benchmarker vi på det populære RealToxicityPrompt testsæt og mål toksicitet på en kontinuerlig skala fra 0 (Ikke giftig) til 1 (giftig). Vi udvælger tilfældigt 1,000 testcases fra RealToxicityPrompt-testsættet og sammenligner toksiciteten af ​​SFT- og RLHF-modellernes output. Gennem vores evaluering finder vi, at RLHF-modellen opnår en lavere toksicitet (0.129 i gennemsnit) end SFT-modellen (0.134 i gennemsnit), hvilket demonstrerer effektiviteten af ​​RLHF-teknikken til at reducere outputskadelighed.

Ryd op

Når du er færdig, bør du slette de cloud-ressourcer, du har oprettet, for at undgå at pådrage dig yderligere gebyrer. Hvis du valgte at spejle dette eksperiment i en SageMaker Notebook, behøver du kun standse den notesbogsforekomst, du brugte. For mere information henvises til AWS Sagemaker Developer Guides dokumentation om "Clean Up".

Konklusion

I dette indlæg viste vi, hvordan man træner en basismodel, GPT-J-6B, med RLHF på Amazon SageMaker. Vi leverede kode, der forklarer, hvordan man finjusterer basismodellen med overvåget træning, træner belønningsmodellen og RL-træning med menneskelige referencedata. Vi demonstrerede, at den RLHF-trænede model foretrækkes af annotatorer. Nu kan du skabe kraftfulde modeller tilpasset din applikation.

Hvis du har brug for træningsdata af høj kvalitet til dine modeller, såsom demonstrationsdata eller præferencedata, Amazon SageMaker kan hjælpe dig ved at fjerne de udifferentierede tunge løft, der er forbundet med bygningsdatamærkningsapplikationer og styring af mærkningspersonalet. Når du har dataene, skal du bruge enten SageMaker Studio Notebook-webgrænsefladen eller den notesbog, der findes i GitHub-lageret for at få din RLHF-trænede model.

Om forfatterne

Weifeng Chen er en anvendt videnskabsmand i AWS Human-in-the-loop videnskabsteamet. Han udvikler maskinassisterede etiketteringsløsninger for at hjælpe kunder med at opnå drastiske hastigheder i at erhverve grundsandhed, der spænder over Computer Vision, Natural Language Processing og Generative AI-domænet.

Erran Li er anvendt videnskabschef hos human-in-the-loop services, AWS AI, Amazon. Hans forskningsinteresser er 3D deep learning og læring af vision og sprogrepræsentation. Tidligere var han seniorforsker hos Alexa AI, leder af maskinlæring hos Scale AI og chefforsker hos Pony.ai. Før det var han sammen med perceptionsteamet hos Uber ATG og maskinlæringsplatformteamet hos Uber, der arbejdede med maskinlæring til autonom kørsel, maskinlæringssystemer og strategiske initiativer inden for AI. Han startede sin karriere på Bell Labs og var adjungeret professor ved Columbia University. Han underviste i tutorials på ICML'17 og ICCV'19 og var med til at organisere adskillige workshops på NeurIPS, ICML, CVPR, ICCV om maskinlæring til autonom kørsel, 3D-vision og robotteknologi, maskinlæringssystemer og adversarial machine learning. Han har en PhD i datalogi ved Cornell University. Han er ACM Fellow og IEEE Fellow.

Koushik Kalyanaraman er softwareudviklingsingeniør på Human-in-the-loop videnskabsteamet hos AWS. I sin fritid spiller han basketball og bruger tid sammen med sin familie.

Xiong Zhou er Senior Applied Scientist hos AWS. Han leder videnskabsteamet for Amazon SageMaker geospatiale muligheder. Hans nuværende forskningsområde omfatter computersyn og effektiv modeltræning. I sin fritid nyder han at løbe, spille basketball og tilbringe tid med sin familie.

Alex Williams er anvendt videnskabsmand ved AWS AI, hvor han arbejder med problemer relateret til interaktiv maskinintelligens. Før han kom til Amazon, var han professor i afdelingen for elektroteknik og datalogi ved University of Tennessee. Han har også haft forskningsstillinger hos Microsoft Research, Mozilla Research og University of Oxford. Han har en ph.d. i datalogi fra University of Waterloo.

Ammar Chinoy er General Manager/direktør for AWS Human-In-The-Loop-tjenester. I sin fritid arbejder han på positiv forstærkningslæring med sine tre hunde: Waffle, Widget og Walker.

• SEO Powered Content & PR Distribution. Bliv forstærket i dag.
• PlatoData.Network Vertical Generative Ai. Styrk dig selv. Adgang her.
• PlatoAiStream. Web3 intelligens. Viden forstærket. Adgang her.
• PlatoESG. Kulstof, CleanTech, Energi, Miljø, Solenergi, Affaldshåndtering. Adgang her.
• PlatoHealth. Bioteknologiske og kliniske forsøgs intelligens. Adgang her.
• Kilde: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/