Melhorando seus LLMs com RLHF no Amazon SageMaker | Amazon Web Services

O Aprendizado por Reforço com Feedback Humano (RLHF) é reconhecido como a técnica padrão do setor para garantir que grandes modelos de linguagem (LLMs) produzam conteúdo verdadeiro, inofensivo e útil. A técnica opera treinando um “modelo de recompensa” baseado no feedback humano e utiliza esse modelo como uma função de recompensa para otimizar a política de um agente por meio de aprendizagem por reforço (RL). O RLHF provou ser essencial para produzir LLMs como ChatGPT da OpenAI e Claude da Anthropic que estejam alinhados com os objetivos humanos. Já se foi o tempo em que você precisava de engenharia imediata e não natural para obter modelos básicos, como o GPT-3, para resolver suas tarefas.

Uma ressalva importante da RLHF é que se trata de um procedimento complexo e muitas vezes instável. Como método, o RLHF exige que você primeiro treine um modelo de recompensa que reflita as preferências humanas. Em seguida, o LLM deve ser ajustado para maximizar a recompensa estimada do modelo de recompensa sem se afastar muito do modelo original. Nesta postagem, demonstraremos como ajustar um modelo básico com RLHF no Amazon SageMaker. Também mostramos como realizar avaliação humana para quantificar as melhorias do modelo resultante.

Pré-requisitos

Antes de começar, certifique-se de entender como usar os seguintes recursos:

Visão geral da solução

Muitas aplicações de IA generativa são iniciadas com LLMs básicos, como o GPT-3, que foram treinados em grandes quantidades de dados de texto e geralmente estão disponíveis ao público. Os LLMs básicos são, por padrão, propensos a gerar texto de uma forma imprevisível e às vezes prejudicial por não saberem como seguir as instruções. Por exemplo, dado o prompt, “escrever um e-mail para meus pais desejando um feliz aniversário”, um modelo base pode gerar uma resposta semelhante ao preenchimento automático do prompt (por exemplo, “e muitos mais anos de amor juntos”) em vez de seguir o prompt como uma instrução explícita (por exemplo, um e-mail por escrito). Isso ocorre porque o modelo é treinado para prever o próximo token. Para melhorar a capacidade de seguir instruções do modelo base, os anotadores de dados humanos têm a tarefa de criar respostas a vários prompts. As respostas recolhidas (muitas vezes referidas como dados de demonstração) são utilizadas num processo denominado ajuste fino supervisionado (SFT). O RLHF refina e alinha ainda mais o comportamento do modelo com as preferências humanas. Nesta postagem do blog, pedimos aos anotadores que classifiquem os resultados do modelo com base em parâmetros específicos, como utilidade, veracidade e inocuidade. Os dados de preferência resultantes são usados ​​para treinar um modelo de recompensa que, por sua vez, é usado por um algoritmo de aprendizagem por reforço denominado Otimização de Política Proximal (PPO) para treinar o modelo supervisionado ajustado. Modelos de recompensa e aprendizagem por reforço são aplicados iterativamente com feedback humano.

O diagrama a seguir ilustra essa arquitetura.

Nesta postagem do blog, ilustramos como o RLHF pode ser executado no Amazon SageMaker conduzindo um experimento com o popular aplicativo de código aberto Repositório RLHF Trlx. Através do nosso experimento, demonstramos como o RLHF pode ser usado para aumentar a utilidade ou inocuidade de um grande modelo de linguagem usando o disponível publicamente Conjunto de dados de utilidade e inocuidade (HH) fornecido pela Antrópico. Usando este conjunto de dados, conduzimos nosso experimento com Bloco de notas Amazon SageMaker Studio que está rodando em um ml.p4d.24xlarge instância. Por fim, fornecemos um Caderno Jupyter para replicar nossos experimentos.

Conclua as etapas a seguir no notebook para baixar e instalar os pré-requisitos:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Importar dados de demonstração

A primeira etapa no RLHF envolve a coleta de dados de demonstração para ajustar um LLM básico. Para os fins desta postagem do blog, estamos usando dados de demonstração no conjunto de dados HH conforme relatado acima. Podemos carregar os dados de demonstração diretamente do pacote de conjuntos de dados Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Supervisionou o ajuste fino de um LLM básico

A próxima etapa é realizar o ajuste fino supervisionado de um LLM básico. Nesta postagem do blog, nos referimos ao modelo básico que passou por ajuste fino supervisionado simplesmente como “modelo SFT”. É necessário um ajuste fino supervisionado para aprender com os dados de demonstração, para que um LLM tenha um bom desempenho em nossa tarefa de conversação e aprenda a ser útil e inofensivo. Nesta postagem, usamos o disponível publicamente EleutherAI/gpt-j-6b modelo hospedado no Hugging Face. Também usamos a estrutura Trlx que fornece código para ajuste supervisionado deste modelo.

Execute os seguintes comandos para iniciar o treinamento:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Importar dados de preferência

Conforme mostrado no diagrama anterior, uma etapa crítica no RLHF envolve a aquisição de dados de preferência. Os dados de preferência são uma coleção de exemplos que demonstram como um ser humano prefere um resultado de máquina em detrimento de outro com base em critérios de utilidade e inocuidade.

A tabela a seguir mostra o conceito de preferência:

Treine seu modelo de recompensa

Nosso modelo de recompensa é baseado em GPT-J-6B e é ajustado no conjunto de dados HH mencionado anteriormente. Como o treinamento do modelo de recompensa não é o foco desta postagem, usaremos um modelo de recompensa pré-treinado especificado no repositório Trlx, o Dahoas/gptj-rm-static. Se você quiser treinar seu próprio modelo de recompensa, consulte o biblioteca autocrit no GitHub.

Treinamento RLHF

Agora que adquirimos todos os componentes necessários para o treinamento RLHF (ou seja, um modelo SFT e um modelo de recompensa), podemos começar a otimizar a política usando RLHF.

Para fazer isso, modificamos o caminho para o modelo SFT em examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Em seguida, executamos os comandos de treinamento:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

O script inicia o modelo SFT usando seus pesos atuais e depois os otimiza sob a orientação de um modelo de recompensa, para que o modelo treinado RLHF resultante se alinhe com a preferência humana. O diagrama a seguir mostra as pontuações de recompensa dos resultados do modelo à medida que o treinamento RLHF avança. O treinamento de reforço é altamente volátil, portanto a curva flutua, mas a tendência geral da recompensa é ascendente, o que significa que o resultado do modelo está cada vez mais alinhado com a preferência humana de acordo com o modelo de recompensa. No geral, a recompensa melhora de -3.42e-1 na 0ª iteração para o valor mais alto de -9.869e-3 na 3000ª iteração.

O diagrama a seguir mostra um exemplo de curva ao executar RLHF.

Avaliação humana

Tendo aperfeiçoado o nosso modelo SFT com RLHF, pretendemos agora avaliar o impacto do processo de ajuste fino no que se refere ao nosso objetivo mais amplo de produzir respostas que sejam úteis e inofensivas. Para apoiar este objetivo, comparamos as respostas geradas pelo modelo ajustado com RLHF com as respostas geradas pelo modelo SFT. Experimentamos 100 prompts derivados do conjunto de teste do conjunto de dados HH. Passamos programaticamente cada prompt pelo modelo SFT e pelo modelo RLHF ajustado para obter duas respostas. Finalmente, pedimos aos anotadores humanos que selecionem a resposta preferida com base na percepção de utilidade e inocuidade.

A abordagem de Avaliação Humana é definida, lançada e gerida pelo Amazon SageMaker Ground Truth Plus serviço de etiquetagem. O SageMaker Ground Truth Plus permite que os clientes preparem conjuntos de dados de treinamento de alta qualidade e em grande escala para ajustar modelos básicos para executar tarefas de IA generativa semelhantes às humanas. Também permite que humanos qualificados revisem os resultados do modelo para alinhá-los com as preferências humanas. Além disso, permite que os criadores de aplicativos personalizem modelos usando dados do setor ou da empresa enquanto preparam conjuntos de dados de treinamento. Como mostrado em uma postagem anterior do blog (“Feedback humano de alta qualidade para seus aplicativos generativos de IA do Amazon SageMaker Ground Truth Plus”), o SageMaker Ground Truth Plus fornece fluxos de trabalho, interfaces de rotulagem e uma força de trabalho qualificada para gerar dados de feedback humano de alta qualidade para realizar essas tarefas em um serviço pronto para uso e totalmente gerenciado em nome do cliente. Usamos uma interface de tarefa semelhante à IU mostrada abaixo para facilitar a etapa de avaliação humana de nosso experimento.

Concluímos nosso experimento de avaliação de modelo determinando qual dos dois modelos – SFT ou RLHF – produziu respostas que foram preferidas com mais frequência. Para 84 dos 100 prompts e respostas avaliados, observamos que as respostas do modelo ajustado com RLHF são pelo menos tão boas ou mais preferidas do que aquelas geradas pelo modelo ajustado com SFT (o modelo treinado em RLHF é mais preferido 30 vezes, empatado 54 vezes). Conforme mostrado na tabela abaixo, uma comparação qualitativa das respostas do modelo fornece evidências de apoio que ilustram como o modelo RLHF tende a ser mais útil e factualmente correto do que o modelo SFT. Tomado como um coletivo, o nosso experimento sugere que o RLHF melhora, de fato, a capacidade do modelo de produzir resultados mais alinhados com os valores de interesse.

Avaliação de toxicidade

Para quantificar como o RLHF reduz a toxicidade nas gerações do modelo, comparamos o popular Conjunto de testes RealToxicityPrompt e medir a toxicidade em uma escala contínua de 0 (Não Tóxico) a 1 (Tóxico). Selecionamos aleatoriamente 1,000 casos de teste do conjunto de testes RealToxicityPrompt e comparamos a toxicidade dos resultados dos modelos SFT e RLHF. Através da nossa avaliação, descobrimos que o modelo RLHF atinge uma toxicidade inferior (0.129 em média) do que o modelo SFT (0.134 em média), o que demonstra a eficácia da técnica RLHF na redução da nocividade da produção.

limpar

Quando terminar, você deverá excluir os recursos de nuvem criados para evitar incorrer em taxas adicionais. Se você optou por espelhar este experimento em um Notebook SageMaker, você só precisa interromper a instância do notebook que estava usando. Para obter mais informações, consulte a documentação do Guia do desenvolvedor do AWS Sagemaker em “Clean Up".

Conclusão

Neste post, mostramos como treinar um modelo básico, GPT-J-6B, com RLHF no Amazon SageMaker. Fornecemos código explicando como ajustar o modelo base com treinamento supervisionado, treinar o modelo de recompensa e treinar RL com dados de referência humanos. Demonstramos que o modelo treinado RLHF é preferido pelos anotadores. Agora você pode criar modelos poderosos personalizados para sua aplicação.

Se você precisar de dados de treinamento de alta qualidade para seus modelos, como dados de demonstração ou dados de preferência, Amazon SageMaker pode ajudar você eliminando o trabalho pesado indiferenciado associado à construção de aplicativos de rotulagem de dados e ao gerenciamento da força de trabalho de rotulagem. Quando você tiver os dados, use a interface da web do SageMaker Studio Notebook ou o notebook fornecido no repositório GitHub para obter seu modelo treinado em RLHF.

Sobre os autores

Weifeng Chen é cientista aplicado na equipe científica AWS Human-in-the-loop. Ele desenvolve soluções de etiquetagem assistidas por máquina para ajudar os clientes a obter acelerações drásticas na aquisição de informações básicas que abrangem o domínio de visão computacional, processamento de linguagem natural e IA generativa.

Erran Li é gerente de ciência aplicada em serviços humain-in-the-loop, AWS AI, Amazon. Seus interesses de pesquisa são aprendizagem profunda em 3D e aprendizagem de visão e representação de linguagem. Anteriormente, ele foi cientista sênior da Alexa AI, chefe de aprendizado de máquina da Scale AI e cientista-chefe da Pony.ai. Antes disso, ele esteve com a equipe de percepção da Uber ATG e com a equipe da plataforma de machine learning da Uber trabalhando em machine learning para direção autônoma, sistemas de machine learning e iniciativas estratégicas de IA. Ele começou sua carreira no Bell Labs e foi professor adjunto na Universidade de Columbia. Ele co-ministrou tutoriais no ICML'17 e ICCV'19, e co-organizou vários workshops no NeurIPS, ICML, CVPR, ICCV sobre aprendizado de máquina para direção autônoma, visão 3D e robótica, sistemas de aprendizado de máquina e aprendizado de máquina adversário. Ele tem doutorado em ciência da computação pela Cornell University. Ele é ACM Fellow e IEEE Fellow.

Koushik Kalyanaraman é engenheiro de desenvolvimento de software na equipe científica Human-in-the-loop da AWS. Nas horas vagas, ele joga basquete e passa tempo com a família.

Xiongzhou é Cientista Aplicado Sênior na AWS. Ele lidera a equipe científica de recursos geoespaciais do Amazon SageMaker. Sua área atual de pesquisa inclui visão computacional e treinamento de modelos eficientes. Nas horas vagas, gosta de correr, jogar basquete e ficar com a família.

Alex Williams é cientista aplicado na AWS AI, onde trabalha em problemas relacionados à inteligência interativa de máquinas. Antes de ingressar na Amazon, foi professor do Departamento de Engenharia Elétrica e Ciência da Computação da Universidade do Tennessee. Ele também ocupou cargos de pesquisa na Microsoft Research, Mozilla Research e na Universidade de Oxford. Ele possui doutorado em Ciência da Computação pela Universidade de Waterloo.

Ammar Chinoy é o gerente/diretor geral dos serviços AWS Human-In-The-Loop. Nas horas vagas, ele trabalha no aprendizado por reforço positivo com seus três cães: Waffle, Widget e Walker.

• Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
• PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
• PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
• PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
• PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
• Fonte: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/