Migliorare i tuoi LLM con RLHF su Amazon SageMaker | Servizi Web di Amazon

L'apprendimento per rinforzo dal feedback umano (RLHF) è riconosciuto come la tecnica standard del settore per garantire che i modelli linguistici di grandi dimensioni (LLM) producano contenuti veritieri, innocui e utili. La tecnica opera addestrando un “modello di ricompensa” basato sul feedback umano e utilizza questo modello come funzione di ricompensa per ottimizzare la politica di un agente attraverso l'apprendimento per rinforzo (RL). RLHF si è rivelato essenziale per produrre LLM come ChatGPT di OpenAI e Claude di Anthropic che siano in linea con gli obiettivi umani. Sono finiti i giorni in cui era necessaria un'ingegneria tempestiva innaturale per ottenere modelli di base, come GPT-3, per risolvere i propri compiti.

Un avvertimento importante della RLHF è che si tratta di una procedura complessa e spesso instabile. Come metodo, RLHF richiede che tu debba prima addestrare un modello di ricompensa che rifletta le preferenze umane. Quindi, il LLM deve essere messo a punto per massimizzare la ricompensa stimata del modello di ricompensa senza allontanarsi troppo dal modello originale. In questo post, dimostreremo come ottimizzare un modello base con RLHF su Amazon SageMaker. Ti mostriamo anche come eseguire una valutazione umana per quantificare i miglioramenti del modello risultante.

Prerequisiti

Prima di iniziare, assicurati di comprendere come utilizzare le seguenti risorse:

Panoramica della soluzione

Molte applicazioni di intelligenza artificiale generativa vengono avviate con LLM di base, come GPT-3, addestrati su enormi quantità di dati di testo e generalmente disponibili al pubblico. I LLM di base sono, per impostazione predefinita, inclini a generare testo in modo imprevedibile e talvolta dannoso a causa del fatto di non sapere come seguire le istruzioni. Ad esempio, dato il suggerimento, “scrivi una mail ai miei genitori augurando loro un felice anniversario”, un modello base potrebbe generare una risposta che assomiglia al completamento automatico del prompt (ad es “e tanti altri anni d’amore insieme”) anziché seguire la richiesta come un'istruzione esplicita (ad esempio un'e-mail scritta). Ciò si verifica perché il modello è addestrato a prevedere il token successivo. Per migliorare la capacità di seguire le istruzioni del modello base, gli annotatori umani dei dati hanno il compito di creare risposte a varie richieste. Le risposte raccolte (spesso denominate dati dimostrativi) vengono utilizzate in un processo chiamato fine tuning supervisionato (SFT). RLHF perfeziona e allinea ulteriormente il comportamento del modello con le preferenze umane. In questo post del blog, chiediamo agli annotatori di classificare i risultati del modello in base a parametri specifici, come utilità, veridicità e innocuità. I dati sulle preferenze risultanti vengono utilizzati per addestrare un modello di ricompensa che a sua volta viene utilizzato da un algoritmo di apprendimento per rinforzo chiamato Proximal Policy Optimization (PPO) per addestrare il modello ottimizzato supervisionato. I modelli di ricompensa e l'apprendimento per rinforzo vengono applicati in modo iterativo con il feedback human-in-the-loop.

Il diagramma seguente illustra questa architettura.

In questo post del blog, illustriamo come è possibile eseguire RLHF su Amazon SageMaker conducendo un esperimento con il popolare software open source Repo RLHF Trlx. Attraverso il nostro esperimento, dimostriamo come RLHF può essere utilizzato per aumentare l'utilità o l'innocuità di un ampio modello linguistico utilizzando il linguaggio disponibile al pubblico Set di dati sull'utilità e l'innocuità (HH). fornito da Anthropic. Utilizzando questo set di dati, conduciamo il nostro esperimento Taccuino di Amazon SageMaker Studio che è in esecuzione su un ml.p4d.24xlarge esempio. Infine, forniamo a Notebook Jupyter per replicare i nostri esperimenti.

Completare i seguenti passaggi nel notebook per scaricare e installare i prerequisiti:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importa dati dimostrativi

Il primo passo in RLHF prevede la raccolta di dati dimostrativi per mettere a punto un LLM di base. Ai fini di questo post del blog, utilizziamo i dati dimostrativi nel set di dati HH come riportato sopra. Possiamo caricare i dati dimostrativi direttamente dal pacchetto di set di dati Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Messa a punto supervisionata di un LLM di base

Il passaggio successivo consiste nell'eseguire la messa a punto supervisionata di un LLM di base. In questo post del blog, ci riferiamo al modello base che è stato sottoposto a messa a punto supervisionata semplicemente come “modello SFT”. È necessaria una messa a punto supervisionata per apprendere dai dati dimostrativi in ​​modo che un LLM funzioni bene nel nostro compito di conversazione e impari a essere utile e innocuo. In questo post utilizziamo il dominio disponibile pubblicamente EleutherAI/gpt-j-6b modello ospitato su Hugging Face. Utilizziamo anche il framework Trlx che fornisce il codice per la messa a punto supervisionata di questo modello.

Esegui i seguenti comandi per iniziare l'addestramento:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importa i dati sulle preferenze

Come mostrato nel diagramma precedente, un passaggio critico in RLHF prevede l'acquisizione dei dati sulle preferenze. I dati sulle preferenze sono una raccolta di esempi che dimostrano come un essere umano preferisce l'output di una macchina rispetto a un altro in base a criteri di utilità e innocuità.

La tabella seguente mostra il concetto di preferenza:

Addestra il tuo modello di ricompensa

Il nostro modello di ricompensa si basa su GPT-J-6B ed è ottimizzato sul set di dati HH precedentemente menzionato. Poiché l'addestramento del modello di ricompensa non è l'obiettivo di questo post, utilizzeremo un modello di ricompensa preaddestrato specificato nel repository Trlx, il Dahoas/gptj-rm-static. Se desideri addestrare il tuo modello di ricompensa, fai riferimento a libreria autocrit su GitHub.

Formazione RLHF

Ora che abbiamo acquisito tutti i componenti necessari per la formazione RLHF (ovvero un modello SFT e un modello di ricompensa), possiamo iniziare a ottimizzare la politica utilizzando RLHF.

Per fare ciò, modifichiamo il percorso del modello SFT in examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Eseguiamo quindi i comandi di training:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Lo script avvia il modello SFT utilizzando i suoi pesi attuali e quindi li ottimizza sotto la guida di un modello di ricompensa, in modo che il modello addestrato RLHF risultante si allinei alle preferenze umane. Il diagramma seguente mostra i punteggi di ricompensa dei risultati del modello man mano che la formazione RLHF procede. L’addestramento di rinforzo è altamente volatile, quindi la curva fluttua, ma la tendenza generale della ricompensa è al rialzo, il che significa che l’output del modello è sempre più allineato con le preferenze umane secondo il modello di ricompensa. Nel complesso, la ricompensa migliora da -3.42e-1 all'iterazione 0 al valore più alto di -9.869e-3 all'iterazione 3000.

Il diagramma seguente mostra una curva di esempio durante l'esecuzione di RLHF.

Valutazione umana

Dopo aver perfezionato il nostro modello SFT con RLHF, miriamo ora a valutare l’impatto del processo di perfezionamento in relazione al nostro obiettivo più ampio di produrre risposte che siano utili e innocue. A sostegno di questo obiettivo, confrontiamo le risposte generate dal modello messo a punto con RLHF con le risposte generate dal modello SFT. Sperimentiamo con 100 prompt derivati ​​dal set di test del set di dati HH. Passiamo a livello di programmazione ogni prompt sia attraverso il modello SFT che attraverso il modello RLHF ottimizzato per ottenere due risposte. Infine, chiediamo agli annotatori umani di selezionare la risposta preferita in base all'utilità e all'innocuità percepite.

L'approccio della Valutazione Umana è definito, lanciato e gestito dal Amazon SageMaker Ground Truth Plus servizio di etichettatura. SageMaker Ground Truth Plus consente ai clienti di preparare set di dati di addestramento su larga scala e di alta qualità per ottimizzare i modelli di base per eseguire attività di intelligenza artificiale generativa simili a quelle umane. Consente inoltre a persone qualificate di rivedere i risultati del modello per allinearli alle preferenze umane. Inoltre, consente agli sviluppatori di applicazioni di personalizzare i modelli utilizzando i dati del proprio settore o dell'azienda durante la preparazione dei set di dati di addestramento. Come mostrato in un precedente post sul blog ("Feedback umano di alta qualità per le tue applicazioni di intelligenza artificiale generativa da Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus fornisce flussi di lavoro, interfacce di etichettatura e una forza lavoro qualificata per generare dati di feedback umano di alta qualità per svolgere queste attività in un servizio chiavi in ​​mano completamente gestito per conto del cliente. Utilizziamo un'interfaccia di attività simile all'interfaccia utente mostrata di seguito per facilitare la fase di valutazione umana del nostro esperimento.

Concludiamo il nostro esperimento di valutazione del modello determinando quale dei due modelli – SFT o RLHF – ha prodotto le risposte preferite più frequentemente. Per 84 dei 100 prompt e risposte valutati, osserviamo che le risposte del modello ottimizzato con RLHF sono almeno altrettanto buone o più preferite di quelle generate dal modello ottimizzato con SFT (il modello addestrato con RLHF è più preferito 30 volte, pari 54 volte). Come mostrato nella tabella seguente, un confronto qualitativo delle risposte del modello fornisce prove a sostegno che illustrano come il modello RLHF tende ad essere più utile e fattivamente corretto rispetto al modello SFT. Preso nel suo insieme, il nostro esperimento suggerisce che RLHF, di fatto, migliora la capacità del modello di produrre output che sono meglio allineati con i valori di interesse.

Valutazione della tossicità

Per quantificare il modo in cui RLHF riduce la tossicità nelle generazioni del modello, eseguiamo un benchmark sul popolare Set di test RealToxicityPrompt e misurare la tossicità su una scala continua da 0 (non tossico) a 1 (tossico). Selezioniamo casualmente 1,000 casi di test dal set di test RealToxicityPrompt e confrontiamo la tossicità degli output dei modelli SFT e RLHF. Attraverso la nostra valutazione, scopriamo che il modello RLHF raggiunge una tossicità inferiore (0.129 in media) rispetto al modello SFT (0.134 in media), il che dimostra l'efficacia della tecnica RLHF nel ridurre la nocività dell'output.

ripulire

Una volta terminato, dovresti eliminare le risorse cloud che hai creato per evitare di incorrere in costi aggiuntivi. Se hai scelto di eseguire il mirroring di questo esperimento in un SageMaker Notebook, devi solo arrestare l'istanza del notebook che stavi utilizzando. Per ulteriori informazioni, fare riferimento alla documentazione della Guida per sviluppatori di AWS Sagemaker su "Ripulire".

Conclusione

In questo post abbiamo mostrato come addestrare un modello base, GPT-J-6B, con RLHF su Amazon SageMaker. Abbiamo fornito un codice che spiega come ottimizzare il modello di base con la formazione supervisionata, addestrare il modello di ricompensa e la formazione RL con dati di riferimento umani. Abbiamo dimostrato che il modello addestrato RLHF è preferito dagli annotatori. Ora puoi creare modelli potenti personalizzati per la tua applicazione.

Se hai bisogno di dati di addestramento di alta qualità per i tuoi modelli, come dati dimostrativi o dati sulle preferenze, Amazon SageMaker può aiutarti eliminando il lavoro pesante indifferenziato associato alla creazione di applicazioni di etichettatura dei dati e alla gestione della forza lavoro di etichettatura. Quando disponi dei dati, utilizza l'interfaccia web di SageMaker Studio Notebook o il notebook fornito nel repository GitHub per ottenere il tuo modello addestrato RLHF.

Informazioni sugli autori

Weifeng Chen è uno scienziato applicato nel team scientifico Human-in-the-loop di AWS. Sviluppa soluzioni di etichettatura assistita da macchine per aiutare i clienti a ottenere drastiche accelerazioni nell'acquisizione di verità di base che abbracciano il dominio della visione artificiale, dell'elaborazione del linguaggio naturale e dell'intelligenza artificiale generativa.

Erran Li è il responsabile delle scienze applicate presso i servizi human-in-the-loop, AWS AI, Amazon. I suoi interessi di ricerca riguardano l'apprendimento profondo 3D e l'apprendimento della visione e della rappresentazione del linguaggio. In precedenza è stato scienziato senior presso Alexa AI, responsabile dell'apprendimento automatico presso Scale AI e capo scienziato presso Pony.ai. In precedenza, ha lavorato con il team di percezione di Uber ATG e con il team della piattaforma di machine learning di Uber, lavorando su machine learning per la guida autonoma, sistemi di machine learning e iniziative strategiche di intelligenza artificiale. Ha iniziato la sua carriera presso i Bell Labs ed è stato professore a contratto presso la Columbia University. Ha co-tenuto tutorial presso ICML'17 e ICCV'19 e ha co-organizzato diversi workshop presso NeurIPS, ICML, CVPR, ICCV sull'apprendimento automatico per la guida autonoma, visione 3D e robotica, sistemi di apprendimento automatico e apprendimento automatico adversarial. Ha un dottorato in informatica presso la Cornell University. È ACM Fellow e IEEE Fellow.

Koushik Kalyanaraman è un ingegnere di sviluppo software che fa parte del team scientifico Human-in-the-loop di AWS. Nel tempo libero gioca a basket e trascorre il tempo con la sua famiglia.

XiongZhou è uno scienziato applicato senior presso AWS. È a capo del team scientifico per le funzionalità geospaziali di Amazon SageMaker. La sua attuale area di ricerca comprende la visione artificiale e l'addestramento di modelli efficienti. Nel tempo libero gli piace correre, giocare a basket e passare il tempo con la sua famiglia.

alex Williams è uno scienziato applicato presso AWS AI dove lavora su problemi relativi all'intelligenza artificiale interattiva. Prima di entrare in Amazon, è stato professore presso il Dipartimento di ingegneria elettrica e informatica dell'Università del Tennessee. Ha inoltre ricoperto incarichi di ricerca presso Microsoft Research, Mozilla Research e l'Università di Oxford. Ha conseguito un dottorato di ricerca in Informatica presso l'Università di Waterloo.

Ammar Chinoy è il direttore generale/direttore dei servizi AWS Human-In-The-Loop. Nel tempo libero lavora sull'apprendimento per rinforzo positivo con i suoi tre cani: Waffle, Widget e Walker.

• Distribuzione di contenuti basati su SEO e PR. Ricevi amplificazione oggi.
• PlatoData.Network Generativo verticale Ai. Potenzia te stesso. Accedi qui.
• PlatoAiStream. Intelligenza Web3. Conoscenza amplificata. Accedi qui.
• PlatoneESG. Carbonio, Tecnologia pulita, Energia, Ambiente, Solare, Gestione dei rifiuti. Accedi qui.
• Platone Salute. Intelligence sulle biotecnologie e sulle sperimentazioni cliniche. Accedi qui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/