Améliorer vos LLM avec RLHF sur Amazon SageMaker | Services Web Amazon

L'apprentissage par renforcement à partir de la rétroaction humaine (RLHF) est reconnu comme la technique standard de l'industrie pour garantir que les grands modèles de langage (LLM) produisent un contenu véridique, inoffensif et utile. La technique fonctionne en formant un « modèle de récompense » basé sur le feedback humain et utilise ce modèle comme fonction de récompense pour optimiser la politique d'un agent grâce à l'apprentissage par renforcement (RL). RLHF s'est avéré essentiel pour produire des LLM tels que ChatGPT d'OpenAI et Claude d'Anthropic qui sont alignés sur les objectifs humains. Il est révolu le temps où vous aviez besoin d'une ingénierie rapide non naturelle pour obtenir des modèles de base, tels que GPT-3, pour résoudre vos tâches.

Une mise en garde importante concernant le RLHF est qu’il s’agit d’une procédure complexe et souvent instable. En tant que méthode, RLHF exige que vous formiez d'abord un modèle de récompense qui reflète les préférences humaines. Ensuite, le LLM doit être affiné pour maximiser la récompense estimée du modèle de récompense sans trop s'éloigner du modèle d'origine. Dans cet article, nous montrerons comment affiner un modèle de base avec RLHF sur Amazon SageMaker. Nous vous montrons également comment effectuer une évaluation humaine pour quantifier les améliorations du modèle résultant.

Pré-requis

Avant de commencer, assurez-vous de bien comprendre comment utiliser les ressources suivantes :

Vue d'ensemble de la solution

De nombreuses applications d'IA générative sont lancées avec des LLM de base, tels que GPT-3, qui ont été formés sur d'énormes quantités de données textuelles et sont généralement accessibles au public. Les LLM de base ont, par défaut, tendance à générer du texte de manière imprévisible et parfois nuisible du fait de ne pas savoir comment suivre les instructions. Par exemple, étant donné l'invite, « écrire un email à mes parents pour leur souhaiter un joyeux anniversaire », un modèle de base peut générer une réponse qui ressemble à la saisie semi-automatique de l'invite (par exemple "et encore de nombreuses années d'amour ensemble") plutôt que de suivre l'invite comme une instruction explicite (par exemple un e-mail écrit). Cela se produit parce que le modèle est entraîné pour prédire le prochain jeton. Pour améliorer la capacité de suivi des instructions du modèle de base, les annotateurs de données humains sont chargés de rédiger des réponses à diverses invites. Les réponses collectées (souvent appelées données de démonstration) sont utilisées dans un processus appelé réglage fin supervisé (SFT). RLHF affine et aligne davantage le comportement du modèle sur les préférences humaines. Dans cet article de blog, nous demandons aux annotateurs de classer les résultats du modèle en fonction de paramètres spécifiques, tels que l'utilité, la véracité et l'innocuité. Les données de préférence résultantes sont utilisées pour former un modèle de récompense qui, à son tour, est utilisé par un algorithme d'apprentissage par renforcement appelé Proximal Policy Optimization (PPO) pour former le modèle affiné supervisé. Les modèles de récompense et l'apprentissage par renforcement sont appliqués de manière itérative avec un feedback humain dans la boucle.

Le diagramme suivant illustre cette architecture.

Dans cet article de blog, nous illustrons comment le RLHF peut être réalisé sur Amazon SageMaker en menant une expérience avec le populaire logiciel open source Repo RLHF Trlx. Grâce à notre expérience, nous démontrons comment RLHF peut être utilisé pour augmenter l'utilité ou l'innocuité d'un grand modèle de langage en utilisant le modèle accessible au public. Ensemble de données sur l'utilité et l'innocuité (HH) fourni par Anthropic. En utilisant cet ensemble de données, nous menons notre expérience avec Bloc-notes Amazon SageMaker Studio qui fonctionne sur un ml.p4d.24xlarge exemple. Enfin, nous proposons un Carnet Jupyter pour reproduire nos expériences.

Effectuez les étapes suivantes dans le notebook pour télécharger et installer les prérequis :

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importer des données de démonstration

La première étape du RLHF consiste à collecter des données de démonstration pour affiner un LLM de base. Pour les besoins de cet article de blog, nous utilisons les données de démonstration de l'ensemble de données HH, comme indiqué ci-dessus. Nous pouvons charger les données de démonstration directement à partir du package d'ensembles de données Hugging Face :

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Supervision de la mise au point d'un LLM de base

L'étape suivante consiste à effectuer un réglage fin supervisé d'un LLM de base. Dans cet article de blog, nous appelons simplement le modèle de base qui a fait l’objet d’un réglage fin supervisé le « modèle SFT ». Un réglage fin supervisé est nécessaire pour apprendre des données de démonstration afin qu'un LLM fonctionne bien dans notre tâche conversationnelle et apprenne à être utile et inoffensif. Dans cet article, nous utilisons le format accessible au public EleutherAI/gpt-j-6b modèle hébergé sur Hugging Face. Nous utilisons également le framework Trlx qui fournit du code pour affiner ce modèle sous supervision.

Exécutez les commandes suivantes pour commencer l'entraînement :

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importer les données de préférence

Comme le montre le diagramme précédent, une étape critique du RLHF consiste à acquérir des données de préférence. Les données de préférence sont une collection d'exemples qui démontrent comment un humain préfère une sortie de machine à une autre en fonction de critères d'utilité et d'innocuité.

Le tableau suivant présente la notion de préférence :

Entraînez votre modèle de récompense

Notre modèle de récompense est basé sur GPT-J-6B et est affiné sur l'ensemble de données HH mentionné précédemment. Étant donné que la formation du modèle de récompense n'est pas l'objet de cet article, nous utiliserons un modèle de récompense pré-entraîné spécifié dans le dépôt Trlx, le Dahoas/gptj-rm-static. Si vous souhaitez former votre propre modèle de récompense, veuillez vous référer au bibliothèque autocrite sur GitHub.

Formation RLHF

Maintenant que nous avons acquis tous les composants requis pour la formation RLHF (c'est-à-dire un modèle SFT et un modèle de récompense), nous pouvons maintenant commencer à optimiser la politique à l'aide du RLHF.

Pour ce faire, nous modifions le chemin vers le modèle SFT dans examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Nous exécutons ensuite les commandes d'entraînement :

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Le script lance le modèle SFT en utilisant ses pondérations actuelles, puis les optimise sous la direction d'un modèle de récompense, de sorte que le modèle formé par RLHF résultant s'aligne sur les préférences humaines. Le diagramme suivant montre les scores de récompense des résultats du modèle au fur et à mesure de la progression de la formation RLHF. La formation de renforcement est très volatile, donc la courbe fluctue, mais la tendance générale de la récompense est à la hausse, ce qui signifie que les résultats du modèle s'alignent de plus en plus sur les préférences humaines selon le modèle de récompense. Dans l'ensemble, la récompense passe de -3.42e-1 à la 0ème itération à la valeur la plus élevée de -9.869e-3 à la 3000ème itération.

Le diagramme suivant montre un exemple de courbe lors de l'exécution de RLHF.

Évaluation humaine

Après avoir affiné notre modèle SFT avec RLHF, nous visons maintenant à évaluer l'impact du processus de réglage fin par rapport à notre objectif plus large de produire des réponses utiles et inoffensives. À l'appui de cet objectif, nous comparons les réponses générées par le modèle affiné avec RLHF aux réponses générées par le modèle SFT. Nous expérimentons avec 100 invites dérivées de l'ensemble de test de l'ensemble de données HH. Nous transmettons par programme chaque invite à la fois au modèle SFT et au modèle RLHF affiné pour obtenir deux réponses. Enfin, nous demandons aux annotateurs humains de sélectionner la réponse préférée en fonction de leur utilité et de leur innocuité perçues.

La démarche Évaluation Humaine est définie, lancée et gérée par le Amazon SageMaker Vérité au sol Plus service d'étiquetage. SageMaker Ground Truth Plus permet aux clients de préparer des ensembles de données de formation de haute qualité à grande échelle pour affiner les modèles de base afin d'effectuer des tâches d'IA générative de type humain. Il permet également à des humains qualifiés d'examiner les résultats du modèle pour les aligner sur les préférences humaines. De plus, il permet aux créateurs d'applications de personnaliser des modèles à l'aide des données de leur secteur ou de leur entreprise tout en préparant des ensembles de données de formation. Comme indiqué dans un article de blog précédent (« Commentaires humains de haute qualité pour vos applications d'IA générative d'Amazon SageMaker Ground Truth Plus»), SageMaker Ground Truth Plus fournit des flux de travail, des interfaces d'étiquetage et une main-d'œuvre qualifiée pour générer des données de feedback humain de haute qualité afin d'accomplir ces tâches dans un service clé en main et entièrement géré au nom du client. Nous utilisons une interface de tâches similaire à l'interface utilisateur présentée ci-dessous pour faciliter l'étape d'évaluation humaine de notre expérience.

Nous concluons notre expérience d'évaluation de modèle en déterminant lequel des deux modèles – SFT ou RLHF – a produit les réponses les plus fréquemment préférées. Pour 84 des 100 invites et réponses évaluées, nous observons que les réponses du modèle affiné avec RLHF sont au moins aussi bonnes, voire plus préférées, que celles générées par le modèle affiné avec SFT (le modèle formé par RLHF est plus préféré 30 fois, à égalité 54 fois). Comme le montre le tableau ci-dessous, une comparaison qualitative des réponses du modèle fournit des preuves à l'appui qui illustrent comment le modèle RLHF a tendance à être plus utile et factuellement correct que le modèle SFT. Prise dans son ensemble, notre expérience suggère que le RLHF améliore en fait la capacité du modèle à produire des résultats mieux alignés sur les valeurs d'intérêt.

Évaluation de la toxicité

Pour quantifier la façon dont le RLHF réduit la toxicité dans les générations de modèles, nous nous basons sur le populaire Ensemble de tests RealToxicityPrompt et mesurer la toxicité sur une échelle continue de 0 (non toxique) à 1 (toxique). Nous sélectionnons au hasard 1,000 0.129 cas de test dans l'ensemble de tests RealToxicityPrompt et comparons la toxicité des sorties des modèles SFT et RLHF. Grâce à notre évaluation, nous constatons que le modèle RLHF atteint une toxicité plus faible (0.134 en moyenne) que le modèle SFT (XNUMX en moyenne), ce qui démontre l'efficacité de la technique RLHF pour réduire la nocivité des sorties.

Nettoyer

Une fois que vous avez terminé, vous devez supprimer les ressources cloud que vous avez créées pour éviter d'encourir des frais supplémentaires. Si vous avez choisi de refléter cette expérience dans un bloc-notes SageMaker, il vous suffit d'arrêter l'instance de bloc-notes que vous utilisiez. Pour plus d'informations, reportez-vous à la documentation du Guide du développeur AWS Sagemaker sur «Clean Up ».

Conclusion

Dans cet article, nous avons montré comment entraîner un modèle de base, GPT-J-6B, avec RLHF sur Amazon SageMaker. Nous avons fourni du code expliquant comment affiner le modèle de base avec une formation supervisée, former le modèle de récompense et former RL avec des données de référence humaines. Nous avons démontré que le modèle formé par RLHF est préféré par les annotateurs. Vous pouvez désormais créer des modèles puissants personnalisés pour votre application.

Si vous avez besoin de données d'entraînement de haute qualité pour vos modèles, telles que des données de démonstration ou des données de préférences, Amazon SageMaker peut vous aider en supprimant les lourdes tâches indifférenciées associées à la création d'applications d'étiquetage de données et à la gestion du personnel d'étiquetage. Lorsque vous disposez des données, utilisez soit l'interface Web SageMaker Studio Notebook, soit le notebook fourni dans le référentiel GitHub pour obtenir votre modèle formé RLHF.

À propos des auteurs

Weifeng Chen est un scientifique appliqué au sein de l'équipe scientifique AWS Human-in-the-loop. Il développe des solutions d'étiquetage assistées par machine pour aider les clients à accélérer considérablement l'acquisition de la vérité fondamentale dans les domaines de la vision par ordinateur, du traitement du langage naturel et de l'IA générative.

Erran Li est responsable des sciences appliquées chez humain-in-the-loop services, AWS AI, Amazon. Ses intérêts de recherche portent sur l’apprentissage profond 3D et l’apprentissage de la vision et de la représentation du langage. Auparavant, il était scientifique principal chez Alexa AI, responsable de l'apprentissage automatique chez Scale AI et scientifique en chef chez Pony.ai. Avant cela, il faisait partie de l'équipe de perception d'Uber ATG et de l'équipe de la plateforme d'apprentissage automatique d'Uber, travaillant sur l'apprentissage automatique pour la conduite autonome, les systèmes d'apprentissage automatique et les initiatives stratégiques d'IA. Il a débuté sa carrière aux Bell Labs et a été professeur adjoint à l'Université de Columbia. Il a co-enseigné des tutoriels à l'ICML'17 et à l'ICCV'19, et a co-organisé plusieurs ateliers à NeurIPS, ICML, CVPR, ICCV sur l'apprentissage automatique pour la conduite autonome, la vision 3D et la robotique, les systèmes d'apprentissage automatique et l'apprentissage automatique contradictoire. Il est titulaire d'un doctorat en informatique de l'Université Cornell. Il est membre de l'ACM et de l'IEEE.

Koushik Kalyanaraman est ingénieur en développement logiciel au sein de l'équipe scientifique Human-in-the-loop d'AWS. Dans ses temps libres, il joue au basket-ball et passe du temps avec sa famille.

Xiong Zhou est un scientifique appliqué senior chez AWS. Il dirige l'équipe scientifique chargée des capacités géospatiales d'Amazon SageMaker. Son domaine de recherche actuel comprend la vision par ordinateur et la formation efficace de modèles. Dans ses temps libres, il aime courir, jouer au basket-ball et passer du temps avec sa famille.

Alex Williams est un scientifique appliqué chez AWS AI où il travaille sur des problèmes liés à l'intelligence artificielle interactive. Avant de rejoindre Amazon, il était professeur au Département de génie électrique et d'informatique de l'Université du Tennessee. Il a également occupé des postes de recherche chez Microsoft Research, Mozilla Research et l'Université d'Oxford. Il est titulaire d'un doctorat en informatique de l'Université de Waterloo.

Ammar Chinoy est le directeur général/directeur des services AWS Human-In-The-Loop. Pendant son temps libre, il travaille à l'apprentissage par renforcement positif avec ses trois chiens : Waffle, Widget et Walker.

• Contenu propulsé par le référencement et distribution de relations publiques. Soyez amplifié aujourd'hui.
• PlatoData.Network Ai générative verticale. Autonomisez-vous. Accéder ici.
• PlatoAiStream. Intelligence Web3. Connaissance Amplifiée. Accéder ici.
• PlatonESG. Carbone, Technologie propre, Énergie, Environnement, Solaire, La gestion des déchets. Accéder ici.
• PlatoHealth. Veille biotechnologique et essais cliniques. Accéder ici.
• La source: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/