LLM-ide täiustamine RLHF-iga saidil Amazon SageMaker | Amazoni veebiteenused

Inforcement Learning from Human Feedback (RLHF) on tunnustatud kui tööstusharu standardtehnika, millega tagatakse, et suured keelemudelid (LLM) toodavad tõese, kahjutu ja kasuliku sisu. See tehnika töötab välja inimeste tagasisidel põhineva "preemiamudeli" ja kasutab seda mudelit tasu funktsioonina, et optimeerida agendi poliitikat tugevdava õppe (RL) abil. RLHF on osutunud hädavajalikuks selliste LLM-ide, nagu OpenAI ChatGPT ja Anthropic's Claude, tootmiseks, mis on kooskõlas inimlike eesmärkidega. Möödas on päevad, mil vajate oma ülesannete lahendamiseks baasmudelite (nt GPT-3) hankimiseks ebaloomulikku kiiret insenertehingut.

RLHF-i oluline hoiatus on see, et see on keeruline ja sageli ebastabiilne protseduur. Meetodina nõuab RLHF, et peate esmalt treenima tasu mudeli, mis peegeldab inimese eelistusi. Seejärel tuleb LLM-i peenhäälestada, et maksimeerida preemiamudeli hinnangulist tasu ilma algsest mudelist liiga kaugele kaldumata. Selles postituses näitame, kuidas RLHF-iga baasmudelit Amazon SageMakeris peenhäälestada. Samuti näitame teile, kuidas teostada inimeste hindamist, et mõõta saadud mudeli täiustusi.

Eeldused

Enne alustamist veenduge, et mõistate, kuidas kasutada järgmisi ressursse.

Lahenduse ülevaade

Paljud generatiivsed AI rakendused käivitatakse põhiliste LLM-idega, nagu GPT-3, mis on koolitatud suure hulga tekstiandmetega ja on üldiselt avalikkusele kättesaadavad. Põhilised LLM-id on vaikimisi altid teksti genereerima viisil, mis on ettearvamatu ja mõnikord kahjulik, kuna ei tea, kuidas juhiseid järgida. Näiteks viipa arvestades "Kirjutage mu vanematele e-kiri, mis soovib neile head aastapäeva", võib baasmudel genereerida vastuse, mis sarnaneb viipa automaatse täitmisega (nt "ja veel palju aastaid koos armastust"), selle asemel, et järgida viipa selgesõnalise juhisena (nt kirjalik meil). See juhtub seetõttu, et mudelit on õpetatud ennustama järgmist märki. Baasmudeli juhiste järgimise võime parandamiseks on inimandmete annotaatorite ülesandeks koostada vastused erinevatele viipadele. Kogutud vastuseid (mida sageli nimetatakse näidisandmeteks) kasutatakse protsessis, mida nimetatakse järelevalveks peenhäälestamiseks (SFT). RLHF täpsustab veelgi ja ühtlustab mudeli käitumist inimese eelistustega. Selles blogipostituses palume annotaatoritel järjestada mudeli väljundid konkreetsete parameetrite alusel, nagu abivalmidus, tõepärasus ja kahjutus. Saadud eelistusandmeid kasutatakse tasumudeli väljaõpetamiseks, mida omakorda kasutab tugevdamise õppimisalgoritm, mida nimetatakse proksimaalpoliitika optimeerimiseks (PPO), et treenida juhendatud peenhäälestatud mudelit. Tasustamismudeleid ja tugevdamisõpet rakendatakse iteratiivselt koos in-the-loop tagasisidega.

Järgmine diagramm illustreerib seda arhitektuuri.

Selles blogipostituses illustreerime, kuidas RLHF-i saab Amazon SageMakeris läbi viia, katsetades populaarse avatud lähtekoodiga RLHF repo Trlx. Oma katsega demonstreerime, kuidas RLHF-i saab kasutada suure keelemudeli kasulikkuse või kahjutuse suurendamiseks, kasutades avalikult kättesaadavat Kasulikkuse ja kahjutuse (HH) andmestik pakub Anthropic. Seda andmekogumit kasutades viime läbi oma katse Amazon SageMaker Studio sülearvuti mis töötab an ml.p4d.24xlarge näiteks. Lõpuks pakume a Jupyteri märkmik meie katsete kordamiseks.

Eeltingimuste allalaadimiseks ja installimiseks tehke sülearvutis järgmised sammud.

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Demonstratsiooniandmete import

RLHF-i esimene samm hõlmab näidisandmete kogumist põhilise LLM-i viimistlemiseks. Selle ajaveebipostituse jaoks kasutame ülalkirjeldatud HH-andmestiku demonstratsiooniandmeid. Saame laadida demonstratsiooniandmed otse Hugging Face andmekomplektide paketist:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Juhis baas-LLM-i peenhäälestamist

Järgmine samm on baas-LLM-i juhendatud peenhäälestus. Selles ajaveebi postituses nimetame baasmudelit, mis on läbinud järelevalve all peenhäälestuse, lihtsalt "SFT mudeliks". Demonstratsiooniandmetest õppimiseks on vaja juhendatud peenhäälestamist, et LLM saaks meie vestlusülesandega hästi hakkama ning õpiks olema abivalmis ja kahjutu. Selles postituses kasutame avalikult kättesaadavat EleutherAI/gpt-j-6b modelli hostis Hugging Face. Kasutame ka Trlx-i raamistikku, mis pakub koodi selle mudeli juhendatud peenhäälestamiseks.

Treeningu alustamiseks käivitage järgmised käsud:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Impordi eelistuste andmed

Nagu on näidatud eelmisel diagrammil, hõlmab RLHF-i kriitiline samm eelistusandmete hankimist. Eelistusandmed on näidete kogum, mis näitab, kuidas inimene eelistab abivalmiduse ja kahjutuse kriteeriumide alusel üht masina väljundit teisele.

Järgmine tabel näitab eelistuse mõistet:

Treenige oma tasumudelit

Meie preemiamudel põhineb GPT-J-6B ja on peenhäälestatud eelnevalt mainitud HH andmestikus. Kuna preemiamudeli väljaõpe ei ole selle postituse keskmes, kasutame Trlx repos määratletud eelkoolitatud preemiamudelit, Dahoas/gptj-rm-static. Kui soovite oma preemiamudelit koolitada, vaadake palun autokriti raamatukogu GitHubis.

RLHF koolitus

Nüüd, kui oleme omandanud kõik RLHF-i koolituse jaoks vajalikud komponendid (st SFT-mudeli ja preemiamudeli), saame nüüd alustada poliitika optimeerimist RLHF-i abil.

Selleks muudame SFT-mudeli teed examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Seejärel käivitame koolituskäsud:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Skript käivitab SFT-mudeli, kasutades oma praeguseid kaalusid, ja seejärel optimeerib need tasumudeli juhtimisel, nii et saadud RLHF-i koolitatud mudel ühtiks inimese eelistustega. Järgmisel diagrammil on näidatud mudeliväljundite preemiapunktid RLHF-i koolituse edenedes. Tugevduskoolitus on väga muutlik, seega kõver kõigub, kuid tasu üldine trend on tõusev, mis tähendab, et mudeli väljund on vastavalt preemiamudelile üha enam vastavuses inimeste eelistustega. Üldiselt paraneb tasu 3.42-nda iteratsiooni väärtuselt -1e-0 kuni 9.869. iteratsiooni kõrgeima väärtuseni -3e-3000.

Järgmine diagramm näitab RLHF-i käivitamise kõverat.

Inimese hindamine

Olles oma SFT-mudeli RLHF-iga viimistlenud, püüame nüüd hinnata peenhäälestusprotsessi mõju, kuna see on seotud meie laiema eesmärgiga anda vastuseid, mis on kasulikud ja kahjutud. Selle eesmärgi toetuseks võrdleme RLHF-ga peenhäälestatud mudeli genereeritud vastuseid SFT-mudeli genereeritud vastustega. Katsetame 100 viipaga, mis on tuletatud HH andmestiku testkomplektist. Kahe vastuse saamiseks edastame programmiliselt iga viipa nii SFT kui ka peenhäälestatud RLHF mudeli kaudu. Lõpuks palume inimeste annotaatoritel valida eelistatud vastus tajutava abivalmiduse ja kahjutuse põhjal.

Inimeste hindamise lähenemisviisi määratleb, käivitab ja haldab Amazon SageMaker Ground Truth Plus märgistamisteenus. SageMaker Ground Truth Plus võimaldab klientidel valmistada ette kvaliteetseid suuremahulisi koolitusandmekogumeid, et viimistleda alusmudeleid inimlike generatiivsete tehisintellekti ülesannete täitmiseks. Samuti võimaldab see kogenud inimestel vaadata üle mudeli väljundid, et viia need vastavusse inimeste eelistustega. Lisaks võimaldab see rakenduste koostajatel kohandada mudeleid, kasutades oma valdkonna või ettevõtte andmeid, valmistades ette koolitusandmekogumeid. Nagu eelmises blogipostituses näidatud („Kvaliteetne inimeste tagasiside teie generatiivsete AI-rakenduste jaoks Amazon SageMaker Ground Truth Plusilt”), pakub SageMaker Ground Truth Plus töövooge, märgistamisliideseid ja kvalifitseeritud tööjõudu kvaliteetsete inimeste tagasisideandmete genereerimiseks, et täita need ülesanded kliendi nimel täielikult hallatava võtmed kätte teenusena. Kasutame ülesandeliidest, mis sarnaneb allpool näidatud kasutajaliidesega, et hõlbustada meie katse inimhindamisetappi.

Lõpetame mudeli hindamise katse, määrates kindlaks, milline kahest mudelist – SFT või RLHF – andis vastuseid, mida eelistati sagedamini. 84 hinnatavast viipast ja vastusest 100 puhul täheldame, et RLHF-iga peenhäälestatud mudeli vastused on vähemalt sama head või eelistatumad kui SFT-ga peenhäälestatud mudeli vastused (RLHF-ga treenitud mudel on eelistatum 30 korda, viigis 54 korda). Nagu on näidatud allolevas tabelis, pakub mudeli vastuste kvalitatiivne võrdlus toetavaid tõendeid, mis näitavad, kuidas RLHF-mudel kipub olema kasulikum ja faktiliselt õigem kui SFT-mudel. Kollektsioonina võetuna näitab meie eksperiment, et RLHF tegelikult parandab mudeli võimet toota väljundit, mis on huvipakkuvate väärtustega paremini kooskõlas.

Toksilisuse hindamine

Et kvantifitseerida, kuidas RLHF vähendab toksilisust mudelite põlvkondades, võrdleme populaarseid RealToxicityPrompt testikomplekt ja mõõta toksilisust pideval skaalal 0 (mittetoksiline) kuni 1 (mürgine). Valime RealToxicityPrompt testikomplektist juhuslikult 1,000 testjuhtumit ja võrdleme SFT ja RLHF mudeli väljundite toksilisust. Meie hinnangul leiame, et RLHF-i mudel saavutab madalama toksilisuse (keskmiselt 0.129) kui SFT-mudel (keskmiselt 0.134), mis näitab RLHF-tehnika tõhusust väljundi kahjulikkuse vähendamisel.

Koristage

Kui olete lõpetanud, peaksite lisatasude vältimiseks loodud pilveressursid kustutama. Kui valisite selle katse peegeldamise SageMakeri sülearvutis, peate peatama ainult kasutatud sülearvuti eksemplari. Lisateabe saamiseks vaadake AWS Sagemakeri arendaja juhendi dokumentatsiooni teemal "Clean Up".

Järeldus

Selles postituses näitasime, kuidas koolitada baasmudelit GPT-J-6B RLHF-iga rakenduses Amazon SageMaker. Esitasime koodi, mis selgitab, kuidas juhendatud koolitusega baasmudelit peenhäälestada, preemiamudelit treenida ja RL koolitust inimeste võrdlusandmetega. Näitasime, et annotaatorid eelistavad RLHF-i koolitatud mudelit. Nüüd saate luua oma rakenduse jaoks kohandatud võimsaid mudeleid.

Kui vajate oma mudelite jaoks kvaliteetseid treeningandmeid, näiteks demonstratsiooniandmeid või eelistuste andmeid, Amazon SageMaker võib teid aidata eemaldades andmete märgistamise rakenduste ehitamise ja märgistamise tööjõu haldamisega seotud eristamata raskete tõstetööde. Kui teil on andmed olemas, kasutage oma RLHF-i koolitatud mudeli hankimiseks kas SageMaker Studio sülearvuti veebiliidest või GitHubi hoidlas olevat sülearvutit.

Autoritest

Weifeng Chen on rakendusteadlane AWS-i Human-in-the-loop teaduse meeskonnas. Ta töötab välja masinabiga märgistamislahendusi, mis aitavad klientidel saavutada põhjaliku tõe hankimise drastilisi kiirusi, mis hõlmavad arvutinägemust, loomuliku keele töötlemist ja generatiivset tehisintellekti.

Erran Li on rakendusteaduste juht ettevõttes Humain-in-the-loop Services, AWS AI, Amazon. Tema uurimisvaldkonnad on 3D süvaõpe ning visiooni ja keele esituse õpe. Varem oli ta Alexa AI vanemteadur, Scale AI masinõppe juht ja Pony.ai peateadlane. Enne seda töötas ta Uber ATG tajumeeskonnas ja Uberi masinõppeplatvormi meeskonnas, kes töötas autonoomse sõidu masinõppe, masinõppesüsteemide ja tehisintellekti strateegiliste algatuste kallal. Ta alustas oma karjääri Bell Labsis ja oli Columbia ülikooli dotsent. Ta õpetas ICML'17 ja ICCV'19 õpetusi ning korraldas NeurIPS-is, ICML-is, CVPR-is ja ICCV-s mitmeid seminare autonoomse juhtimise masinõppe, 3D-nägemise ja robootika, masinõppesüsteemide ja võistleva masinõppe teemal. Tal on Cornelli ülikoolis arvutiteaduse doktorikraad. Ta on ACM Fellow ja IEEE Fellow.

Koushik Kalyanaraman on AWS-i Human-in-the-loop teadusmeeskonna tarkvaraarenduse insener. Vabal ajal mängib ta korvpalli ja veedab aega perega.

Xiong Zhou on AWSi vanemrakendusteadlane. Ta juhib Amazon SageMakeri georuumiliste võimaluste teadusmeeskonda. Tema praegune uurimisvaldkond hõlmab arvutinägemist ja tõhusat mudelikoolitust. Vabal ajal meeldib talle joosta, korvpalli mängida ja perega aega veeta.

Alex Williams on rakendusteadlane AWS AI-s, kus ta tegeleb interaktiivse masinaintellektiga seotud probleemidega. Enne Amazoniga liitumist oli ta Tennessee ülikooli elektrotehnika ja arvutiteaduse osakonna professor. Samuti on ta töötanud teaduritel Microsoft Researchis, Mozilla Researchis ja Oxfordi ülikoolis. Tal on Waterloo ülikoolis arvutiteaduse doktorikraad.

Ammar Chinoy on AWS Human-In-The-Loop teenuste peadirektor/direktor. Vabal ajal tegeleb ta positiivse tugevdamise õppimisega koos oma kolme koeraga: Waffle, Widget ja Walker.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/