Îmbunătățirea LLM-urilor cu RLHF pe Amazon SageMaker | Amazon Web Services

Reinforcement Learning from Human Feedback (RLHF) este recunoscută ca tehnica standard în industrie pentru a se asigura că modelele de limbaj mari (LLM) produc conținut care este veridic, inofensiv și util. Tehnica operează prin antrenarea unui „model de recompensă” bazat pe feedback uman și folosește acest model ca funcție de recompensă pentru a optimiza politica unui agent prin învățare prin consolidare (RL). RLHF s-a dovedit a fi esențial pentru a produce LLM, cum ar fi ChatGPT de la OpenAI și Claude de la Anthropic, care sunt aliniate cu obiectivele umane. Au dispărut vremurile în care aveți nevoie de inginerie promptă nefirească pentru a obține modele de bază, cum ar fi GPT-3, pentru a vă rezolva sarcinile.

Un avertisment important al RLHF este că este o procedură complexă și adesea instabilă. Ca metodă, RLHF necesită mai întâi să antrenezi un model de recompensă care să reflecte preferințele umane. Apoi, LLM trebuie ajustat pentru a maximiza recompensa estimată a modelului de recompensă, fără a se îndepărta prea mult de modelul original. În această postare, vom demonstra cum să reglați fin un model de bază cu RLHF pe Amazon SageMaker. De asemenea, vă arătăm cum să efectuați evaluarea umană pentru a cuantifica îmbunătățirile modelului rezultat.

Cerințe preliminare

Înainte de a începe, asigurați-vă că înțelegeți cum să utilizați următoarele resurse:

Prezentare generală a soluțiilor

Multe aplicații AI generative sunt inițiate cu LLM de bază, cum ar fi GPT-3, care au fost instruite pe cantități masive de date text și sunt în general disponibile publicului. LLM-urile de bază sunt, în mod implicit, predispuse să genereze text într-o manieră care este imprevizibilă și uneori dăunătoare, ca urmare a faptului că nu știe cum să urmeze instrucțiunile. De exemplu, având în vedere solicitarea, „Scriu-le părinților mei un e-mail prin care le urează o aniversare fericită”, un model de bază ar putea genera un răspuns care seamănă cu completarea automată a promptului (de ex „și încă mulți ani de dragoste împreună”) în loc să urmeze promptul ca instrucțiune explicită (de exemplu, un e-mail scris). Acest lucru se întâmplă deoarece modelul este antrenat să prezică următorul simbol. Pentru a îmbunătăți capacitatea de urmărire a instrucțiunilor a modelului de bază, adnotatorii de date umane au sarcina de a crea răspunsuri la diverse solicitări. Răspunsurile colectate (denumite adesea date demonstrative) sunt utilizate într-un proces numit reglare fină supravegheată (SFT). RLHF rafinează și aliniază în continuare comportamentul modelului cu preferințele umane. În această postare pe blog, le cerem adnotatorilor să clasifice rezultatele modelului pe baza unor parametri specifici, cum ar fi utilitatea, veridicitatea și inofensiunea. Datele de preferință rezultate sunt utilizate pentru a antrena un model de recompensă care, la rândul său, este utilizat de un algoritm de învățare de întărire numit Proximal Policy Optimization (PPO) pentru a antrena modelul reglat fin supravegheat. Modelele de recompensă și învățarea prin întărire sunt aplicate iterativ cu feedback uman în buclă.

Următoarea diagramă ilustrează această arhitectură.

În această postare pe blog, ilustrăm modul în care RLHF poate fi efectuat pe Amazon SageMaker prin efectuarea unui experiment cu popularul, cu sursă deschisă RLHF repo Trlx. Prin experimentul nostru, demonstrăm modul în care RLHF poate fi utilizat pentru a crește utilitatea sau inofensiunea unui model de limbă mare, folosind modelul disponibil publicului. Set de date Utilitate și inofensivă (HH). oferit de Anthropic. Folosind acest set de date, ne desfășurăm experimentul cu Blocnotes Amazon SageMaker Studio care rulează pe o ml.p4d.24xlarge instanță. În cele din urmă, oferim a Caiet Jupyter pentru a reproduce experimentele noastre.

Parcurgeți următorii pași în blocnotes pentru a descărca și instala cerințele preliminare:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importați date demonstrative

Primul pas în RLHF implică colectarea de date demonstrative pentru a regla fin un LLM de bază. În scopul acestei postări de blog, folosim date demonstrative în setul de date HH, așa cum este raportat mai sus. Putem încărca datele demonstrative direct din pachetul de seturi de date Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Reglarea fină supravegheată a unui LLM de bază

Următorul pas este să efectuați reglarea fină supravegheată a unui LLM de bază. În această postare pe blog, ne referim la modelul de bază care a suferit o reglare fină supravegheată pur și simplu ca „model SFT”. Reglarea fină supravegheată este necesară pentru a învăța din datele demonstrative, astfel încât un LLM să funcționeze bine în sarcina noastră conversațională și să învețe să fie de ajutor și inofensiv. În această postare, folosim cele disponibile public EleutherAI/gpt-j-6b model găzduit pe Hugging Face. De asemenea, folosim cadrul Trlx care oferă cod pentru reglarea fină supravegheată a acestui model.

Rulați următoarele comenzi pentru a începe antrenamentul:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importați date de preferințe

După cum se arată în diagrama anterioară, un pas critic în RLHF implică obținerea de date de preferință. Datele de preferințe sunt o colecție de exemple care demonstrează modul în care un om preferă o ieșire de mașină în detrimentul altuia pe baza criteriilor de utilitate și inofensivă.

Următorul tabel prezintă conceptul de preferință:

Antrenează-ți modelul de recompensă

Modelul nostru de recompensă se bazează pe GPT-J-6B și este reglat fin pe setul de date HH menționat anterior. Deoarece antrenarea modelului de recompensă nu este punctul central al acestei postări, vom folosi un model de recompensă pre-antrenat specificat în depozitul Trlx, Dahoas/gptj-rm-static. Dacă doriți să vă antrenați propriul model de recompensă, vă rugăm să consultați biblioteca autocrit pe GitHub.

Antrenament RLHF

Acum că am achiziționat toate componentele necesare pentru formarea RLHF (adică un model SFT și un model de recompensă), acum putem începe optimizarea politicii folosind RLHF.

Pentru a face acest lucru, modificăm calea către modelul SFT în examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Apoi rulăm comenzile de antrenament:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Scriptul inițiază modelul SFT folosind ponderile sale actuale și apoi le optimizează sub îndrumarea unui model de recompensă, astfel încât modelul antrenat RLHF rezultat să se alinieze preferințelor umane. Următoarea diagramă arată scorurile de recompensă ale rezultatelor modelului pe măsură ce antrenamentul RLHF progresează. Antrenamentul de întărire este foarte volatil, astfel încât curba fluctuează, dar tendința generală a recompensei este ascendentă, ceea ce înseamnă că rezultatul modelului devine din ce în ce mai aliniat cu preferințele umane conform modelului de recompensă. În general, recompensa se îmbunătățește de la -3.42e-1 la a 0-a iterație la cea mai mare valoare de -9.869e-3 la a 3000-a iterație.

Următoarea diagramă prezintă un exemplu de curbă când rulați RLHF.

Evaluarea umană

După ce ne-am ajustat modelul SFT cu RLHF, ne propunem acum să evaluăm impactul procesului de reglare fină în legătură cu obiectivul nostru mai larg de a produce răspunsuri utile și inofensive. În sprijinul acestui obiectiv, comparăm răspunsurile generate de modelul ajustat cu RLHF cu răspunsurile generate de modelul SFT. Experimentăm cu 100 de solicitări derivate din setul de testare al setului de date HH. Trecem în mod programatic fiecare prompt atât prin modelul SFT, cât și prin modelul RLHF reglat fin pentru a obține două răspunsuri. În cele din urmă, le cerem adnotatorilor umani să aleagă răspunsul preferat în funcție de utilitatea și inofensiunea percepută.

Abordarea Evaluării Umane este definită, lansată și gestionată de către Amazon SageMaker Ground Truth Plus serviciu de etichetare. SageMaker Ground Truth Plus le permite clienților să pregătească seturi de date de instruire de înaltă calitate, la scară largă, pentru a ajusta modelele de fundație pentru a îndeplini sarcini AI generative asemănătoare omului. De asemenea, permite oamenilor calificați să revizuiască rezultatele modelului pentru a le alinia preferințelor umane. În plus, le permite creatorilor de aplicații să personalizeze modele folosind datele din industria lor sau ale companiei în timp ce pregătesc seturi de date de instruire. După cum se arată într-o postare anterioară pe blog („Feedback uman de înaltă calitate pentru aplicațiile tale AI generative de la Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus oferă fluxuri de lucru, interfețe de etichetare și o forță de muncă calificată pentru a genera date de feedback uman de înaltă calitate pentru a îndeplini aceste sarcini într-un serviciu la cheie, complet gestionat în numele clientului. Folosim o interfață de activitate similară cu interfața de utilizare prezentată mai jos pentru a facilita etapa de evaluare umană a experimentului nostru.

Încheiem experimentul nostru de evaluare a modelului determinând care dintre cele două modele – SFT sau RLHF – a produs răspunsuri care au fost preferate mai frecvent. Pentru 84 din cele 100 de solicitări și răspunsuri evaluate, observăm că răspunsurile din modelul reglat fin cu RLHF sunt cel puțin la fel de bune sau mai preferate decât cele generate de modelul ajustat cu SFT (modelul antrenat cu RLHF este mai preferat de 30 de ori, la egalitate de 54 de ori). După cum se arată în tabelul de mai jos, o comparație calitativă a răspunsurilor modelului oferă dovezi care ilustrează modul în care modelul RLHF tinde să fie mai util și mai corect din punct de vedere faptic decât modelul SFT. Luat ca un colectiv, experimentul nostru sugerează că RLHF, de fapt, îmbunătățește capacitatea modelului de a produce rezultate care sunt mai bine aliniate cu valorile de interes.

Evaluarea toxicității

Pentru a cuantifica modul în care RLHF reduce toxicitatea în generațiile de modele, ne referim la populare Set de teste RealToxicityPrompt și măsurați toxicitatea pe o scară continuă de la 0 (Netoxic) la 1 (Toxic). Selectăm aleatoriu 1,000 de cazuri de testare din setul de teste RealToxicityPrompt și comparăm toxicitatea rezultatelor modelului SFT și RLHF. Prin evaluarea noastră, constatăm că modelul RLHF atinge o toxicitate mai mică (0.129 în medie) decât modelul SFT (0.134 în medie), ceea ce demonstrează eficacitatea tehnicii RLHF în reducerea nocivității producției.

A curăța

După ce ați terminat, ar trebui să ștergeți resursele cloud pe care le-ați creat pentru a evita costurile suplimentare. Dacă ați optat pentru oglindirea acestui experiment într-un blocnotes SageMaker, trebuie doar să opriți instanța blocnotesului pe care o utilizați. Pentru mai multe informații, consultați documentația Ghidului pentru dezvoltatori AWS Sagemaker la „Clean Up".

Concluzie

În această postare, am arătat cum să antrenați un model de bază, GPT-J-6B, cu RLHF pe Amazon SageMaker. Am furnizat cod care explică modul de ajustare a modelului de bază cu antrenament supravegheat, antrenament model de recompensă și antrenament RL cu date de referință umane. Am demonstrat că modelul antrenat RLHF este preferat de adnotatori. Acum, puteți crea modele puternice personalizate pentru aplicația dvs.

Dacă aveți nevoie de date de antrenament de înaltă calitate pentru modelele dvs., cum ar fi date demonstrative sau date de preferințe, Amazon SageMaker vă poate ajuta prin eliminarea sarcinilor grele nediferențiate asociate cu construirea de aplicații de etichetare a datelor și gestionarea forței de muncă de etichetare. Când aveți datele, utilizați fie interfața web SageMaker Studio Notebook, fie blocnotesul furnizat în depozitul GitHub pentru a obține modelul pregătit RLHF.

Despre Autori

Weifeng Chen este un om de știință aplicat în echipa de știință AWS Human-in-the-loop. El dezvoltă soluții de etichetare asistate de mașini pentru a ajuta clienții să obțină accelerații drastice în obținerea adevărului de bază, care se întinde pe domeniul Viziune pe computer, Procesare a limbajului natural și AI generativă.

Erran Li este managerul științei aplicate la humain-in-the-loop services, AWS AI, Amazon. Interesele sale de cercetare sunt învățarea profundă 3D și învățarea viziunii și reprezentării limbajului. Anterior, a fost om de știință senior la Alexa AI, șeful de învățare automată la Scale AI și om de știință șef la Pony.ai. Înainte de asta, a fost cu echipa de percepție de la Uber ATG și cu echipa platformei de învățare automată de la Uber, lucrând la învățarea automată pentru conducere autonomă, sisteme de învățare automată și inițiative strategice ale inteligenței artificiale. Și-a început cariera la Bell Labs și a fost profesor adjunct la Universitatea Columbia. A predat împreună tutoriale la ICML'17 și ICCV'19 și a co-organizat mai multe ateliere la NeurIPS, ICML, CVPR, ICCV despre învățarea automată pentru conducere autonomă, viziune 3D și robotică, sisteme de învățare automată și învățare automată adversară. Are un doctorat în informatică la Universitatea Cornell. El este ACM Fellow și IEEE Fellow.

Koushik Kalyanaraman este inginer de dezvoltare software în echipa științifică Human-in-the-loop de la AWS. În timpul liber, joacă baschet și își petrece timpul cu familia.

Xiong Zhou este cercetător senior aplicat la AWS. El conduce echipa științifică pentru capabilitățile geospațiale Amazon SageMaker. Domeniul său actual de cercetare include viziunea computerizată și formarea eficientă a modelelor. În timpul liber, îi place să alerge, să joace baschet și să petreacă timpul cu familia.

Alex Williams este un om de știință aplicat la AWS AI, unde lucrează la probleme legate de inteligența mașinilor interactive. Înainte de a se alătura Amazon, a fost profesor la Departamentul de Inginerie Electrică și Știința Calculatoarelor de la Universitatea din Tennessee. De asemenea, a ocupat funcții de cercetare la Microsoft Research, Mozilla Research și la Universitatea din Oxford. Este doctor în Informatică la Universitatea din Waterloo.

Ammar Chinoy este directorul general/director pentru serviciile AWS Human-In-The-Loop. În timpul său liber, lucrează la învățare prin întărire pozitivă cu cei trei câini ai săi: Waffle, Widget și Walker.

• Distribuție de conținut bazat pe SEO și PR. Amplifică-te astăzi.
• PlatoData.Network Vertical Generative Ai. Împuterniciți-vă. Accesați Aici.
• PlatoAiStream. Web3 Intelligence. Cunoștințe amplificate. Accesați Aici.
• PlatoESG. carbon, CleanTech, Energie, Mediu inconjurator, Solar, Managementul deșeurilor. Accesați Aici.
• PlatoHealth. Biotehnologie și Inteligență pentru studii clinice. Accesați Aici.
• Sursa: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/