Förbättra dina LLMs med RLHF på Amazon SageMaker | Amazon webbtjänster

Reinforcement Learning from Human Feedback (RLHF) är erkänt som industristandardtekniken för att säkerställa att stora språkmodeller (LLM) producerar innehåll som är sanningsenligt, ofarligt och användbart. Tekniken fungerar genom att träna en "belöningsmodell" baserad på mänsklig feedback och använder denna modell som en belöningsfunktion för att optimera en agents policy genom förstärkningsinlärning (RL). RLHF har visat sig vara avgörande för att producera LLM som OpenAIs ChatGPT och Anthropics Claude som är i linje med mänskliga mål. De dagar då du behöver onaturlig snabb ingenjörskonst är förbi för att få basmodeller, som GPT-3, för att lösa dina uppgifter.

En viktig varning med RLHF är att det är en komplex och ofta instabil procedur. Som metod kräver RLHF att man först måste träna en belöningsmodell som speglar mänskliga preferenser. Sedan måste LLM finjusteras för att maximera belöningsmodellens beräknade belöning utan att glida för långt från den ursprungliga modellen. I det här inlägget kommer vi att visa hur man finjusterar en basmodell med RLHF på Amazon SageMaker. Vi visar dig också hur man utför mänsklig utvärdering för att kvantifiera förbättringarna av den resulterande modellen.

Förutsättningar

Innan du börjar, se till att du förstår hur du använder följande resurser:

Lösningsöversikt

Många generativa AI-applikationer initieras med bas-LLM, såsom GPT-3, som tränades på enorma mängder textdata och är allmänt tillgängliga för allmänheten. Bas LLM är som standard benägna att generera text på ett sätt som är oförutsägbart och ibland skadligt som ett resultat av att man inte vet hur man följer instruktionerna. Till exempel, med tanke på uppmaningen, "Skriv ett mejl till mina föräldrar som önskar dem en lycklig årsdag", kan en basmodell generera ett svar som liknar autokompletteringen av prompten (t.ex "och många fler år av kärlek tillsammans") istället för att följa uppmaningen som en explicit instruktion (t.ex. ett skriftligt e-postmeddelande). Detta beror på att modellen är tränad att förutsäga nästa token. För att förbättra basmodellens förmåga att följa instruktioner, har mänskliga dataannotatorer i uppdrag att skriva svar på olika uppmaningar. De insamlade svaren (ofta kallade demonstrationsdata) används i en process som kallas övervakad finjustering (SFT). RLHF förfinar och anpassar modellens beteende ytterligare med mänskliga preferenser. I det här blogginlägget ber vi annotatorer att rangordna modellutdata baserat på specifika parametrar, såsom hjälpsamhet, sanningsenlighet och ofarlighet. Den resulterande preferensdatan används för att träna en belöningsmodell som i sin tur används av en förstärkningsinlärningsalgoritm som kallas Proximal Policy Optimization (PPO) för att träna den övervakade finjusterade modellen. Belöningsmodeller och förstärkningsinlärning tillämpas iterativt med feedback från människan i slingan.

Följande diagram illustrerar denna arkitektur.

I det här blogginlägget illustrerar vi hur RLHF kan utföras på Amazon SageMaker genom att genomföra ett experiment med den populära, öppen källkod RLHF repo Trlx. Genom vårt experiment visar vi hur RLHF kan användas för att öka hjälpsamheten eller ofarligheten hos en stor språkmodell med hjälp av den allmänt tillgängliga Hjälpsam och ofarlig datauppsättning (HH). tillhandahålls av Anthropic. Med hjälp av denna datauppsättning genomför vi vårt experiment med Amazon SageMaker Studio anteckningsbok som körs på en ml.p4d.24xlarge exempel. Slutligen tillhandahåller vi en Jupyter anteckningsbok att replikera våra experiment.

Utför följande steg i anteckningsboken för att ladda ner och installera förutsättningarna:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importera demonstrationsdata

Det första steget i RLHF innebär att samla in demonstrationsdata för att finjustera en bas LLM. För syftet med det här blogginlägget använder vi demonstrationsdata i HH-datauppsättningen enligt ovan. Vi kan ladda demonstrationsdata direkt från datapaketet Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Övervakad finjustering av en bas LLM

Nästa steg är att utföra övervakad finjustering av en bas LLM. I det här blogginlägget hänvisar vi till basmodellen som har genomgått övervakad finjustering helt enkelt som "SFT-modellen". Övervakad finjustering krävs för att lära av demonstrationsdata så att en LLM presterar bra på vår samtalsuppgift och lär sig att vara hjälpsam och ofarlig. I det här inlägget använder vi det allmänt tillgängliga EleutherAI/gpt-j-6b modell värd på Hugging Face. Vi använder också Trlx-ramverket som tillhandahåller kod för övervakad finjustering av denna modell.

Kör följande kommandon för att börja träna:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importera preferensdata

Som visas i det föregående diagrammet innebär ett kritiskt steg i RLHF att skaffa preferensdata. Preferensdata är en samling exempel som visar hur en människa föredrar en maskinutgång framför en annan baserat på hjälpsamhets- och ofarlighetskriterier.

Följande tabell visar begreppet preferens:

Träna din belöningsmodell

Vår belöningsmodell bygger på GPT-J-6B och är finjusterad på den tidigare nämnda HH-datauppsättningen. Eftersom träning av belöningsmodellen inte är fokus i det här inlägget kommer vi att använda en förtränad belöningsmodell som specificeras i Trlx-repo, Dahoas/gptj-rm-static. Om du vill träna din egen belöningsmodell, vänligen se autocrit-bibliotek på GitHub.

RLHF Utbildning

Nu när vi har skaffat alla nödvändiga komponenter för RLHF-utbildning (dvs en SFT-modell och en belöningsmodell) kan vi nu börja optimera policyn med RLHF.

För att göra detta ändrar vi sökvägen till SFT-modellen i examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Vi kör sedan träningskommandona:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Skriptet initierar SFT-modellen med hjälp av dess nuvarande vikter och optimerar dem sedan under ledning av en belöningsmodell, så att den resulterande RLHF-tränade modellen överensstämmer med mänskliga preferenser. Följande diagram visar belöningspoängen för modellens resultat när RLHF-träningen fortskrider. Förstärkningsträning är mycket flyktig, så kurvan fluktuerar, men den övergripande trenden för belöningen är uppåtgående, vilket innebär att modellens produktion blir mer och mer i linje med mänskliga preferenser enligt belöningsmodellen. Totalt sett förbättras belöningen från -3.42e-1 vid den 0:e iterationen till det högsta värdet på -9.869e-3 vid den 3000:e iterationen.

Följande diagram visar en exempelkurva när du kör RLHF.

Mänsklig utvärdering

Efter att ha finjusterat vår SFT-modell med RLHF, siktar vi nu på att utvärdera effekten av finjusteringsprocessen eftersom den relaterar till vårt bredare mål att producera svar som är hjälpsamma och ofarliga. Till stöd för detta mål jämför vi svaren som genereras av modellen finjusterad med RLHF med svar som genereras av SFT-modellen. Vi experimenterar med 100 uppmaningar härledda från testuppsättningen av HH-datauppsättningen. Vi skickar programmässigt varje prompt genom både SFT och den finjusterade RLHF-modellen för att få två svar. Slutligen ber vi mänskliga kommentatorer att välja det föredragna svaret baserat på upplevd hjälpsamhet och ofarlighet.

Human Evaluation-metoden definieras, lanseras och hanteras av Amazon SageMaker Ground Truth Plus märkningstjänst. SageMaker Ground Truth Plus gör det möjligt för kunder att förbereda högkvalitativa, storskaliga utbildningsdatauppsättningar för att finjustera grundmodeller för att utföra mänskliga generativa AI-uppgifter. Det tillåter också skickliga människor att granska modellutdata för att anpassa dem till mänskliga preferenser. Dessutom gör det det möjligt för applikationsbyggare att anpassa modeller med deras bransch- eller företagsdata samtidigt som de förbereder utbildningsdatauppsättningar. Som framgår av ett tidigare blogginlägg ("Högkvalitativ mänsklig feedback för dina generativa AI-applikationer från Amazon SageMaker Ground Truth Plus”), erbjuder SageMaker Ground Truth Plus arbetsflöden, märkningsgränssnitt och en skicklig arbetsstyrka för att generera högkvalitativ mänsklig feedback för att utföra dessa uppgifter i en nyckelfärdig, helt hanterad tjänst för kundens räkning. Vi använder ett uppgiftsgränssnitt som liknar gränssnittet som visas nedan för att underlätta det mänskliga utvärderingssteget i vårt experiment.

Vi avslutar vårt modellutvärderingsexperiment med att bestämma vilken av de två modellerna – SFT eller RLHF – som gav svar som var vanligare att föredra. För 84 av de 100 uppmaningar och svar som utvärderas, observerar vi att svaren från modellen finjusterad med RLHF är minst lika bra som eller mer föredragna än de som genereras av modellen finjusterad med SFT (RLHF-tränad modell är mer föredraget 30 gånger, oavgjort 54 gånger). Som visas i tabellen nedan ger en kvalitativ jämförelse av modellsvar stödjande bevis som illustrerar hur RLHF-modellen tenderar att vara mer användbar och faktiskt korrekt än SFT-modellen. Sett som ett kollektiv antyder vårt experiment att RLHF faktiskt förbättrar modellens förmåga att producera output som är bättre i linje med värdena av intresse.

Toxicitetsutvärdering

För att kvantifiera hur RLHF minskar toxiciteten i modellgenerationerna, riktmärker vi på det populära RealToxicityPrompt-testset och mät toxicitet på en kontinuerlig skala från 0 (ej giftig) till 1 (giftig). Vi väljer slumpmässigt ut 1,000 0.129 testfall från RealToxicityPrompt-testsetet och jämför toxiciteten hos SFT- och RLHF-modellutgångarna. Genom vår utvärdering finner vi att RLHF-modellen uppnår en lägre toxicitet (0.134 i genomsnitt) än SFT-modellen (XNUMX i genomsnitt), vilket visar effektiviteten av RLHF-tekniken för att minska skadligheten i produktionen.

Städa upp

När du är klar bör du ta bort molnresurserna som du skapade för att undvika extra avgifter. Om du valde att spegla det här experimentet i en SageMaker Notebook behöver du bara stoppa den anteckningsbokförekomst som du använde. För mer information, se AWS Sagemaker Developer Guides dokumentation om "Clean Up".

Slutsats

I det här inlägget visade vi hur man tränar en basmodell, GPT-J-6B, med RLHF på Amazon SageMaker. Vi tillhandahöll kod som förklarar hur man finjusterar basmodellen med övervakad träning, tränar belöningsmodellen och RL-träning med mänskliga referensdata. Vi visade att den RLHF-tränade modellen föredras av annotatorer. Nu kan du skapa kraftfulla modeller anpassade för din applikation.

Om du behöver träningsdata av hög kvalitet för dina modeller, såsom demonstrationsdata eller preferensdata, Amazon SageMaker kan hjälpa dig genom att ta bort de odifferentierade tunga lyften som är förknippade med applikationer för märkning av byggdata och hantera märkningspersonalen. När du har data, använd antingen SageMaker Studio Notebook-webbgränssnittet eller anteckningsboken som finns i GitHub-förrådet för att få din RLHF-tränade modell.

Om författarna

Weifeng Chen är en tillämpad vetenskapsman i AWS Human-in-the-loop vetenskapsteam. Han utvecklar maskinassisterade etikettlösningar för att hjälpa kunder att få drastiska snabba steg när det gäller att skaffa grundsanning som spänner över domänerna Computer Vision, Natural Language Processing och Generative AI.

Erran Li är tillämpad vetenskapschef på human-in-the-loop-tjänster, AWS AI, Amazon. Hans forskningsintressen är 3D-djupinlärning och inlärning av syn och språkrepresentation. Tidigare var han senior forskare på Alexa AI, chef för maskininlärning på Scale AI och chefsforskare på Pony.ai. Innan dess var han med perceptionsteamet på Uber ATG och maskininlärningsplattformsteamet på Uber och arbetade med maskininlärning för autonom körning, maskininlärningssystem och strategiska initiativ av AI. Han började sin karriär på Bell Labs och var adjungerad professor vid Columbia University. Han var med och undervisade i tutorials på ICML'17 och ICCV'19, och var med och organiserade flera workshops på NeurIPS, ICML, CVPR, ICCV om maskininlärning för autonom körning, 3D-vision och robotik, maskininlärningssystem och motstridig maskininlärning. Han har en doktorsexamen i datavetenskap vid Cornell University. Han är ACM Fellow och IEEE Fellow.

Koushik Kalyanaraman är en mjukvaruutvecklingsingenjör i Human-in-the-loop-vetenskapsteamet på AWS. På fritiden spelar han basket och umgås med familjen.

Xiong Zhou är Senior Applied Scientist på AWS. Han leder vetenskapsteamet för Amazon SageMakers geospatiala funktioner. Hans nuvarande forskningsområde inkluderar datorseende och effektiv modellträning. På fritiden tycker han om att springa, spela basket och umgås med familjen.

Alex Williams är tillämpad forskare på AWS AI där han arbetar med problem relaterade till interaktiv maskinintelligens. Innan han började på Amazon var han professor vid avdelningen för elektroteknik och datavetenskap vid University of Tennessee. Han har också haft forskarpositioner vid Microsoft Research, Mozilla Research och University of Oxford. Han har en doktorsexamen i datavetenskap från University of Waterloo.

Ammar Chinoy är General Manager/Direktör för AWS Human-In-The-Loop-tjänster. På fritiden arbetar han med positiv förstärkningsinlärning med sina tre hundar: Waffle, Widget och Walker.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/