LLM-ek fejlesztése az RLHF segítségével az Amazon SageMakeren | Amazon webszolgáltatások

Az emberi visszajelzésekből való tanulás megerősítése (RLHF) az iparági szabványos technika annak biztosítására, hogy a nagy nyelvi modellek (LLM) valódi, ártalmatlan és hasznos tartalmat állítsanak elő. A technika az emberi visszajelzéseken alapuló „jutalmazási modell” betanításával működik, és ezt a modellt jutalmazási funkcióként használja az ügynök politikájának optimalizálására a megerősítési tanulás (RL) segítségével. Az RLHF elengedhetetlennek bizonyult az olyan LLM-ek létrehozásában, mint az OpenAI ChatGPT és az Anthropic Claude, amelyek összhangban vannak az emberi célkitűzésekkel. Elmúltak azok az idők, amikor természetellenes azonnali tervezésre van szükség ahhoz, hogy alapmodelleket, például GPT-3-at kapjon a feladatai megoldásához.

Az RLHF fontos figyelmeztetése, hogy összetett és gyakran instabil eljárásról van szó. Módszerként az RLHF megköveteli, hogy először egy olyan jutalmazási modellt kell kiképezni, amely tükrözi az emberi preferenciákat. Ezután az LLM-et finoman be kell hangolni, hogy maximalizálja a jutalommodell becsült jutalmát anélkül, hogy túlságosan eltávolodna az eredeti modelltől. Ebben a bejegyzésben bemutatjuk, hogyan lehet finomhangolni egy alapmodellt RLHF-vel az Amazon SageMakeren. Azt is bemutatjuk, hogyan végezhet emberi értékelést az eredményül kapott modell fejlesztéseinek számszerűsítésére.

Előfeltételek

Mielőtt elkezdené, győződjön meg arról, hogy megértette a következő erőforrások használatát:

Megoldás áttekintése

Sok Generatív AI-alkalmazást olyan alapszintű LLM-ekkel indítanak, mint például a GPT-3, amelyek hatalmas mennyiségű szöveges adatra lettek kiképezve, és általában elérhetők a nyilvánosság számára. Az alapszintű LLM-ek alapértelmezés szerint hajlamosak olyan szöveget generálni, amely kiszámíthatatlan, és néha káros, mivel nem tudják, hogyan kell követni az utasításokat. Például a felszólítás alapján "Írj egy e-mailt a szüleimnek, és boldog évfordulót kívánok nekik", egy alapmodell olyan választ generálhat, amely hasonlít a prompt automatikus kiegészítésére (pl "és még sok évnyi szerelem együtt"). Ez azért történik, mert a modellt arra tanítják, hogy megjósolja a következő tokent. Az alapmodell utasításkövetési képességének javítása érdekében az emberi adatok annotátorok feladata a különféle felszólításokra adott válaszok létrehozása. Az összegyűjtött válaszokat (gyakran demonstrációs adatoknak nevezik) a felügyelt finomhangolásnak (SFT) nevezett folyamatban használják fel. Az RLHF tovább finomítja és összehangolja a modell viselkedését az emberi preferenciákkal. Ebben a blogbejegyzésben arra kérjük az annotátorokat, hogy rangsorolják a modell kimeneteit olyan konkrét paraméterek alapján, mint a segítőkészség, az igazságosság és az ártalmatlanság. Az eredményül kapott preferenciaadatokat egy jutalommodell betanítására használják, amelyet viszont a Proximal Policy Optimization (PPO) nevű megerősítő tanulási algoritmus használ fel a felügyelt finomhangolt modell betanításához. A jutalmazási modelleket és a megerősítő tanulást iteratív módon alkalmazzák az emberi visszacsatolással.

A következő diagram ezt az architektúrát szemlélteti.

Ebben a blogbejegyzésben bemutatjuk, hogyan hajtható végre az RLHF az Amazon SageMakeren, ha kísérletet végzünk a népszerű, nyílt forráskódú RLHF repo Trlx. Kísérletünkkel bemutatjuk, hogyan használható az RLHF egy nagy nyelvi modell segítőkészségének vagy ártalmatlanságának növelésére a nyilvánosan elérhető Hasznosság és ártalmatlanság (HH) adatkészlet az Anthropic biztosította. Ennek az adathalmaznak a felhasználásával végezzük el a kísérletünket Amazon SageMaker Studio notebook hogy fut egy ml.p4d.24xlarge példa. Végül biztosítunk a Jupyter jegyzetfüzet hogy megismételjük kísérleteinket.

Az előfeltételek letöltéséhez és telepítéséhez hajtsa végre a következő lépéseket a notebookban:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Demonstrációs adatok importálása

Az RLHF első lépése a demonstrációs adatok összegyűjtése az alap LLM finomhangolásához. Ennek a blogbejegyzésnek a céljára a HH-adatkészletben szereplő demonstrációs adatokat használjuk, amint azt fent közöltük. A bemutató adatokat közvetlenül a Hugging Face adatkészletből tölthetjük be:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Felügyelt egy alap LLM finomhangolása

A következő lépés az alap LLM felügyelt finomhangolása. Ebben a blogbejegyzésben a felügyelt finomhangoláson átesett alapmodellt egyszerűen „SFT-modellnek” nevezzük. Felügyelt finomhangolásra van szükség ahhoz, hogy tanuljunk a demonstrációs adatokból, hogy az LLM jól végezze a beszélgetési feladatunkat, és megtanuljon segítőkésznek és ártalmatlannak lenni. Ebben a bejegyzésben a nyilvánosan elérhető EleutherAI/gpt-j-6b modell házigazdája Hugging Face. Használjuk a Trlx keretrendszert is, amely kódot biztosít a modell felügyelt finomhangolásához.

Az edzés megkezdéséhez futtassa a következő parancsokat:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Beállítási adatok importálása

Amint az az előző diagramon látható, az RLHF egyik kritikus lépése a preferenciaadatok beszerzése. A preferenciaadatok olyan példák gyűjteménye, amelyek bemutatják, hogy az ember a segítőkészség és az ártalmatlanság kritériumai alapján hogyan részesíti előnyben az egyik gép kimenetét a másikkal szemben.

Az alábbi táblázat a preferencia fogalmát mutatja be:

Képezze a jutalommodelljét

Jutalmazási modellünk a GPT-J-6B és a korábban említett HH adatkészleten van finomhangolva. Mivel ennek a posztnak nem a jutalommodell betanítása áll a középpontjában, a Trlx repóban meghatározott előre betanított jutalmazási modellt fogjuk használni, Dahoas/gptj-rm-static. Ha saját jutalommodelljét szeretné kiképezni, kérjük, tekintse meg a autocrit könyvtár a GitHubon.

RLHF képzés

Most, hogy beszereztük az RLHF képzéshez szükséges összes komponenst (azaz egy SFT-modellt és egy jutalmazási modellt), megkezdhetjük az irányelvek optimalizálását az RLHF használatával.

Ehhez módosítjuk az SFT-modell elérési útját examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Ezután futtatjuk a képzési parancsokat:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

A szkript elindítja az SFT-modellt a jelenlegi súlyok használatával, majd optimalizálja azokat egy jutalommodell irányítása alatt, hogy az eredményül kapott RLHF betanított modell igazodjon az emberi preferenciákhoz. A következő diagram a modell kimenetek jutalmazási pontszámait mutatja az RLHF képzés előrehaladtával. Az erősítő tréning nagyon ingadozó, ezért a görbe ingadozik, de a jutalom általános trendje felfelé mutat, vagyis a modell kimenete egyre jobban igazodik az emberi preferenciákhoz a jutalmazási modell szerint. Összességében a jutalom a 3.42. iterációnál mért -1e-0-ről a 9.869. iterációnál elért legmagasabb értékre, -3e-3000.

A következő diagram egy példa görbét mutat be az RLHF futtatásakor.

Emberi értékelés

Az SFT-modell RLHF-fel történő finomhangolása után most arra törekszünk, hogy értékeljük a finomhangolási folyamat hatását, mivel az kapcsolódik tágabb célunkhoz, hogy hasznos és ártalmatlan válaszokat adjunk. E cél alátámasztására összehasonlítjuk az RLHF-vel finomhangolt modell által generált válaszokat az SFT modell által generált válaszokkal. A HH adatkészlet tesztkészletéből származó 100 prompttal kísérletezünk. Az egyes promptokat programozottan továbbítjuk mind az SFT, mind a finomhangolt RLHF modellen, hogy két választ kapjunk. Végül arra kérjük az emberi annotátorokat, hogy az észlelt segítőkészség és ártalmatlanság alapján válasszák ki a preferált választ.

A Humánértékelési megközelítést a szervezet határozza meg, indítja el és irányítja Amazon SageMaker Ground Truth Plus címkézési szolgáltatás. A SageMaker Ground Truth Plus lehetővé teszi az ügyfelek számára, hogy kiváló minőségű, nagyszabású képzési adatkészleteket készítsenek az alapmodellek finomhangolásához az emberhez hasonló generatív AI-feladatok elvégzéséhez. Lehetővé teszi azt is, hogy a képzett emberek áttekintsék a modell kimeneteit, hogy igazodjanak az emberi preferenciákhoz. Ezenkívül lehetővé teszi az alkalmazáskészítők számára a modellek testreszabását iparági vagy vállalati adataik felhasználásával, miközben képzési adatkészleteket készítenek. Ahogy az egy korábbi blogbejegyzésben is látható („Kiváló minőségű emberi visszajelzések generatív AI-alkalmazásaihoz az Amazon SageMaker Ground Truth Plus-tól”), a SageMaker Ground Truth Plus munkafolyamatokat, címkézési felületeket és szakképzett munkaerőt biztosít, hogy kiváló minőségű emberi visszajelzési adatokat generáljon, hogy ezeket a feladatokat kulcsrakész, teljes körűen felügyelt szolgáltatásban hajtsák végre az ügyfél nevében. Az alább látható felhasználói felülethez hasonló feladatfelületet használunk, hogy megkönnyítsük kísérletünk emberi értékelési lépését.

Modellértékelési kísérletünket azzal zárjuk, hogy meghatározzuk, hogy a két modell – SFT vagy RLHF – közül melyik produkált a gyakrabban preferált válaszokat. A 84 kiértékelt felszólítás és válasz közül 100 esetében megfigyelhető, hogy az RLHF-fel finomhangolt modellből származó válaszok legalább olyan jók vagy előnyösebbek, mint az SFT-vel finomhangolt modell által generált válaszok (RLHF-tanított modell inkább 30-szor, holtversenyben 54-szer). Amint az alábbi táblázatban látható, a modellre adott válaszok minőségi összehasonlítása alátámasztó bizonyítékot szolgáltat, amely bemutatja, hogy az RLHF-modell általában hasznosabb és tényszerűbb, mint az SFT-modell. Kísérletünk kollektíve azt sugallja, hogy az RLHF valójában javítja a modell azon képességét, hogy jobban illeszkedjen az érdeklődésre számot tartó értékekhez.

Toxicitás értékelése

Annak számszerűsítésére, hogy az RLHF hogyan csökkenti a toxicitást a modellgenerációkban, összehasonlítjuk a népszerű RealToxicityPrompt tesztkészlet és mérje meg a toxicitást folyamatos skálán 0-tól (nem mérgező) 1-ig (mérgező). Véletlenszerűen kiválasztunk 1,000 tesztesetet a RealToxicityPrompt tesztkészletből, és összehasonlítjuk az SFT és RLHF modell kimeneteinek toxicitását. Értékelésünk során azt találtuk, hogy az RLHF modell alacsonyabb toxicitást ér el (átlagosan 0.129), mint az SFT modell (átlagosan 0.134), ami az RLHF technika hatékonyságát mutatja a kimeneti káros hatás csökkentésében.

Tisztítsuk meg

Ha végzett, törölje a létrehozott felhő-erőforrásokat, hogy elkerülje a további költségeket. Ha úgy döntött, hogy tükrözi ezt a kísérletet egy SageMaker Notebookban, akkor csak a használt notebook példányt kell leállítania. További információkért tekintse meg az AWS Sagemaker fejlesztői útmutató dokumentációját a következő témakörben:Clean Up".

Következtetés

Ebben a bejegyzésben megmutattuk, hogyan lehet kiképezni egy alapmodellt, a GPT-J-6B-t RLHF segítségével az Amazon SageMakeren. Kódot biztosítottunk, amely elmagyarázza, hogyan lehet finomhangolni az alapmodellt felügyelt képzéssel, betanítani a jutalmazási modellt és az RL képzést emberi referenciaadatokkal. Kimutattuk, hogy az RLHF által kiképzett modellt részesítik előnyben az annotátorok. Most már hatékony modelleket hozhat létre az alkalmazásához szabva.

Ha kiváló minőségű edzési adatokra van szüksége modelljeihez, például bemutató adatokra vagy preferenciaadatokra, Az Amazon SageMaker segíthet az épületadat-címkéző alkalmazásokhoz kapcsolódó differenciálatlan nehézemelés megszüntetésével és a címkézési munkaerő irányításával. Ha megvannak az adatok, használja a SageMaker Studio Notebook webes felületét vagy a GitHub adattárában található notebookot, hogy megszerezze az RLHF betanított modelljét.

A szerzőkről

Weifeng Chen az AWS Human-in-the-loop tudományos csapatának alkalmazott tudósa. Géppel segített címkézési megoldásokat fejleszt, hogy segítse ügyfeleit abban, hogy drasztikusan felgyorsítsák az alapigazság megszerzését a Computer Vision, a Natural Language Processing és a Generative AI tartományban.

Erran Li a humin-in-the-loop szolgáltatások, az AWS AI, Amazon alkalmazott tudományos menedzsere. Kutatási területe a 3D mély tanulás, valamint a látás és nyelvi reprezentáció tanulása. Korábban az Alexa AI vezető tudósa, a Scale AI gépi tanulási vezetője és a Pony.ai vezető tudósa volt. Ezt megelőzően az Uber ATG észlelési csapatánál és az Uber gépi tanulási platform csapatánál dolgozott az autonóm vezetés gépi tanulásán, a gépi tanulási rendszereken és az AI stratégiai kezdeményezésein. Pályafutását a Bell Labs-nál kezdte, és a Columbia Egyetem adjunktusa volt. Társaként tartott oktatóanyagokat az ICML'17-en és az ICCV'19-en, és több workshopot szervezett a NeurIPS-ben, ICML-ben, CVPR-ben, ICCV-ben az autonóm vezetés gépi tanulásáról, a 3D-látásról és a robotikáról, a gépi tanulási rendszerekről és az ellenséges gépi tanulásról. A Cornell Egyetemen szerzett PhD fokozatot számítástechnikából. ACM-ösztöndíjas és IEEE-ösztöndíjas.

Koushik Kalyanaraman az AWS Human-in-the-loop tudományos csapatának szoftverfejlesztő mérnöke. Szabadidejében kosárlabdázik, és családjával tölti az idejét.

Xiong Zhou az AWS vezető alkalmazott tudósa. Ő vezeti az Amazon SageMaker térinformatikai képességekkel foglalkozó tudományos csapatát. Jelenlegi kutatási területe a számítógépes látás és a hatékony modellképzés. Szabadidejében szeret futni, kosárlabdázni és a családjával tölteni az idejét.

Alex Williams alkalmazott tudós az AWS AI-nál, ahol az interaktív gépi intelligenciával kapcsolatos problémákon dolgozik. Mielőtt csatlakozott volna az Amazonhoz, a Tennessee Egyetem Villamosmérnöki és Számítástechnikai Tanszékének professzora volt. Emellett kutatói pozíciókat töltött be a Microsoft Researchnél, a Mozilla Researchnél és az Oxfordi Egyetemen. A Waterloo Egyetemen szerzett PhD fokozatot számítástechnikából.

Ammar Chinoy az AWS Human-In-The-Loop szolgáltatások vezérigazgatója/igazgatója. Szabadidejében pozitív megerősítő tanuláson dolgozik három kutyájával: Waffle, Widget és Walker.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/