Улучшите свои программы LLM с помощью RLHF на Amazon SageMaker | Веб-сервисы Amazon

Обучение с подкреплением на основе обратной связи с человеком (RLHF) признано стандартным отраслевым методом, гарантирующим, что большие языковые модели (LLM) создают правдивый, безвредный и полезный контент. Этот метод работает путем обучения «модели вознаграждения», основанной на обратной связи с человеком, и использует эту модель в качестве функции вознаграждения для оптимизации политики агента посредством обучения с подкреплением (RL). RLHF оказался незаменимым для создания LLM, таких как ChatGPT OpenAI и Claude от Anthropic, которые соответствуют человеческим целям. Прошли те времена, когда вам требовалось неестественно быстрое проектирование, чтобы получить базовые модели, такие как GPT-3, для решения ваших задач.

Важным предостережением RLHF является то, что это сложная и часто нестабильная процедура. В качестве метода RLHF требует, чтобы вы сначала обучили модель вознаграждения, отражающую человеческие предпочтения. Затем LLM необходимо точно настроить, чтобы максимизировать предполагаемое вознаграждение модели вознаграждения, не отклоняясь слишком далеко от исходной модели. В этом посте мы покажем, как точно настроить базовую модель с помощью RLHF в Amazon SageMaker. Мы также покажем вам, как выполнить человеческую оценку, чтобы количественно оценить улучшения полученной модели.

Предпосылки

Прежде чем приступить к работе, убедитесь, что вы понимаете, как использовать следующие ресурсы:

Обзор решения

Многие приложения генеративного ИИ запускаются с помощью базовых LLM, таких как GPT-3, которые были обучены на огромных объемах текстовых данных и обычно доступны для общественности. Базовые LLM по умолчанию склонны генерировать текст непредсказуемым, а иногда и вредным образом из-за незнания того, как следовать инструкциям. Например, учитывая подсказку, «Написать электронное письмо моим родителям с поздравлением с юбилеем», базовая модель может генерировать ответ, напоминающий автозаполнение приглашения (например, «и еще много лет любви вместе»), а не следовать подсказке в виде явной инструкции (например, письменного электронного письма). Это происходит потому, что модель обучена прогнозировать следующий токен. Чтобы улучшить способность базовой модели следовать инструкциям, аннотаторам данных поручено создавать ответы на различные запросы. Собранные ответы (часто называемые демонстрационными данными) используются в процессе, называемом контролируемой точной настройкой (SFT). RLHF дополнительно уточняет и согласовывает поведение модели с предпочтениями человека. В этом сообщении блога мы просим аннотаторов ранжировать результаты модели на основе конкретных параметров, таких как полезность, правдивость и безвредность. Полученные данные о предпочтениях используются для обучения модели вознаграждения, которая, в свою очередь, используется алгоритмом обучения с подкреплением, называемым оптимизацией проксимальной политики (PPO), для обучения контролируемой точно настроенной модели. Модели вознаграждения и обучение с подкреплением применяются итеративно с обратной связью от человека.

Следующая диаграмма иллюстрирует эту архитектуру.

В этом сообщении блога мы покажем, как можно реализовать RLHF на Amazon SageMaker, проведя эксперимент с популярным сервисом с открытым исходным кодом. Репо RLHF Trlx. В ходе нашего эксперимента мы демонстрируем, как RLHF можно использовать для повышения полезности или безвредности большой языковой модели с использованием общедоступных источников. Набор данных о полезности и безвредности (HH) предоставлено Anthropic. Используя этот набор данных, мы проводим наш эксперимент с Блокнот Amazon SageMaker Studio который работает на ml.p4d.24xlarge пример. Наконец, мы предоставляем Блокнот Jupyter повторить наши эксперименты.

Выполните следующие шаги в записной книжке, чтобы загрузить и установить необходимые компоненты:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Импорт демонстрационных данных

Первый шаг в RLHF включает сбор демонстрационных данных для точной настройки базового LLM. Для целей этой публикации в блоге мы используем демонстрационные данные из набора данных HH, как указано выше. Мы можем загрузить демонстрационные данные непосредственно из пакета наборов данных Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Контролировал тонкую настройку базового LLM.

Следующим шагом является контролируемая точная настройка базового LLM. В этом сообщении блога мы называем базовую модель, прошедшую контролируемую точную настройку, просто «моделью SFT». Контролируемая точная настройка необходима для обучения на демонстрационных данных, чтобы LLM хорошо справлялся с нашей разговорной задачей и учился быть полезным и безвредным. В этом посте мы используем общедоступные EleutherAI/gpt-j-6b модель размещена на Hugging Face. Мы также используем инфраструктуру Trlx, которая предоставляет код для контролируемой точной настройки этой модели.

Чтобы начать обучение, выполните следующие команды:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Импортировать данные о предпочтениях

Как показано на предыдущей диаграмме, критический шаг в RLHF включает получение данных о предпочтениях. Данные о предпочтениях — это набор примеров, демонстрирующих, как человек предпочитает один результат работы машины другому на основе критериев полезности и безвредности.

В следующей таблице показана концепция предпочтения:

Тренируйте свою модель вознаграждения

Наша модель вознаграждения основана на GPT-J-6B и точно настроен на ранее упомянутый набор данных HH. Поскольку обучение модели вознаграждения не является целью этой статьи, мы будем использовать предварительно обученную модель вознаграждения, указанную в репозитории Trlx, Dahoas/gptj-rm-static. Если вы хотите обучить собственную модель вознаграждения, см. библиотека autocrit на GitHub.

Обучение РЛХФ

Теперь, когда мы приобрели все необходимые компоненты для обучения RLHF (т. е. модель SFT и модель вознаграждения), мы можем приступить к оптимизации политики с использованием RLHF.

Для этого модифицируем путь к модели SFT в examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Затем мы запускаем команды обучения:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Сценарий инициирует модель SFT, используя ее текущие веса, а затем оптимизирует их под руководством модели вознаграждения, чтобы полученная обученная RLHF модель соответствовала предпочтениям человека. На следующей диаграмме показаны оценки вознаграждения выходных данных модели по мере прохождения обучения RLHF. Обучение с подкреплением очень изменчиво, поэтому кривая колеблется, но общая тенденция вознаграждения является восходящей, а это означает, что выходные данные модели все больше и больше соответствуют человеческим предпочтениям в соответствии с моделью вознаграждения. В целом вознаграждение улучшается с -3.42e-1 на 0-й итерации до максимального значения -9.869e-3 на 3000-й итерации.

На следующей диаграмме показан пример кривой при использовании RLHF.

Человеческая оценка

После точной настройки нашей модели SFT с помощью RLHF мы теперь стремимся оценить влияние процесса тонкой настройки на нашу более широкую цель — получение ответов, которые будут полезными и безвредными. В поддержку этой цели мы сравниваем ответы, генерируемые моделью, настроенной с помощью RLHF, с ответами, генерируемыми моделью SFT. Мы экспериментируем со 100 подсказками, полученными из тестового набора данных HH. Мы программно пропускаем каждое приглашение через SFT и точно настроенную модель RLHF, чтобы получить два ответа. Наконец, мы просим аннотаторов выбрать предпочтительный ответ на основе предполагаемой полезности и безвредности.

Подход к человеческой оценке определяется, запускается и управляется Amazon SageMaker Ground Truth Plus услуга по маркировке. SageMaker Ground Truth Plus позволяет клиентам готовить высококачественные крупномасштабные наборы обучающих данных для точной настройки базовых моделей для выполнения задач генеративного ИИ, подобных человеческим. Это также позволяет квалифицированным специалистам просматривать результаты модели, чтобы привести их в соответствие с предпочтениями человека. Кроме того, он позволяет разработчикам приложений настраивать модели, используя данные своей отрасли или компании при подготовке наборов обучающих данных. Как показано в предыдущем сообщении блога («Высококачественная обратная связь от людей для ваших приложений генеративного ИИ от Amazon SageMaker Ground Truth Plus»), SageMaker Ground Truth Plus предоставляет рабочие процессы, интерфейсы для маркировки и квалифицированную рабочую силу для создания высококачественных данных обратной связи между людьми для выполнения этих задач в рамках полностью управляемого сервиса «под ключ» от имени клиента. Мы используем интерфейс задачи, аналогичный показанному ниже, чтобы облегчить этап оценки человеком нашего эксперимента.

Мы завершаем наш эксперимент по оценке модели, определяя, какая из двух моделей – SFT или RLHF – дает ответы, которые чаще всего предпочтительнее. Для 84 из 100 оцениваемых подсказок и ответов мы наблюдаем, что ответы модели, настроенной с помощью RLHF, по крайней мере, так же хороши или более предпочтительны, чем ответы, сгенерированные моделью, настроенной с помощью SFT (модель, обученная RLHF, более предпочтительное — 30 раз, ничья — 54 раза). Как показано в таблице ниже, качественное сравнение ответов модели предоставляет подтверждающие доказательства, иллюстрирующие, что модель RLHF имеет тенденцию быть более полезной и фактически правильной, чем модель SFT. В целом наш эксперимент показывает, что RLHF действительно улучшает способность модели производить результаты, которые лучше соответствуют интересующим значениям.

Оценка токсичности

Чтобы количественно оценить, как RLHF снижает токсичность в поколениях моделей, мы сравниваем популярный Набор тестов RealToxicityPrompt и измеряйте токсичность по непрерывной шкале от 0 (нетоксично) до 1 (токсично). Мы случайным образом выбираем 1,000 тестовых случаев из набора тестов RealToxicityPrompt и сравниваем токсичность результатов моделей SFT и RLHF. В результате нашей оценки мы обнаружили, что модель RLHF обеспечивает более низкую токсичность (в среднем 0.129), чем модель SFT (в среднем 0.134), что демонстрирует эффективность метода RLHF в снижении вредности продукции.

Убирать

По завершении вам следует удалить созданные вами облачные ресурсы, чтобы избежать дополнительных сборов. Если вы решили отразить этот эксперимент в блокноте SageMaker, вам нужно только остановить экземпляр блокнота, который вы использовали. Для получения дополнительной информации обратитесь к документации AWS Sagemaker Developer Guide на странице «Убирать».

Заключение

В этом посте мы показали, как обучить базовую модель GPT-J-6B с помощью RLHF на Amazon SageMaker. Мы предоставили код, объясняющий, как точно настроить базовую модель с помощью контролируемого обучения, обучить модель вознаграждения и обучение RL с использованием справочных данных человека. Мы продемонстрировали, что аннотаторы предпочитают обученную модель RLHF. Теперь вы можете создавать мощные модели, адаптированные для вашего приложения.

Если вам нужны высококачественные данные обучения для ваших моделей, такие как демонстрационные данные или данные о предпочтениях, Amazon SageMaker может вам помочь за счет устранения недифференцированной тяжелой работы, связанной с созданием приложений для маркировки данных и управлением рабочей силой, занимающейся маркировкой. Когда у вас есть данные, используйте веб-интерфейс SageMaker Studio Notebook или блокнот из репозитория GitHub, чтобы получить обученную модель RLHF.

Об авторах

Вэйфэн Чен — учёный-прикладник в научной группе AWS «Человек в цикле». Он разрабатывает решения для машинной маркировки, которые помогают клиентам значительно ускорить получение достоверной информации, охватывающей области компьютерного зрения, обработки естественного языка и генеративного искусственного интеллекта.

Эрран Ли — менеджер по прикладным наукам в сервисах управления людьми, AWS AI, Amazon. Его исследовательские интересы — глубокое 3D-обучение, а также обучение зрению и языковому представлению. Ранее он был старшим научным сотрудником Alexa AI, руководителем отдела машинного обучения в Scale AI и главным научным сотрудником Pony.ai. До этого он работал в команде восприятия в Uber ATG и в команде платформы машинного обучения в Uber, работая над машинным обучением для автономного вождения, системами машинного обучения и стратегическими инициативами в области искусственного интеллекта. Он начал свою карьеру в Bell Labs и был адъюнкт-профессором Колумбийского университета. Он совместно преподавал учебные пособия на ICML'17 и ICCV'19, а также был соорганизатором нескольких семинаров в NeurIPS, ICML, CVPR, ICCV по машинному обучению для автономного вождения, 3D-зрению и робототехнике, системам машинного обучения и состязательному машинному обучению. Он имеет степень доктора компьютерных наук в Корнелльском университете. Он является членом ACM и членом IEEE.

Кушик Кальянараман — инженер-разработчик программного обеспечения в научной группе по управлению человеком в процессе работы в AWS. В свободное время он играет в баскетбол и проводит время с семьей.

Сюн Чжоу — старший научный сотрудник AWS. Он возглавляет научную группу по геопространственным возможностям Amazon SageMaker. Его текущая область исследований включает компьютерное зрение и эффективное обучение моделей. В свободное время он любит бегать, играть в баскетбол и проводить время с семьей.

Алекс Уильямс — учёный-прикладник в AWS AI, где он работает над проблемами, связанными с интерактивным машинным интеллектом. До прихода в Amazon он был профессором кафедры электротехники и информатики в Университете Теннесси. Он также занимал исследовательские должности в Microsoft Research, Mozilla Research и Оксфордском университете. Он получил степень доктора компьютерных наук в Университете Ватерлоо.

Аммар Чиной является генеральным менеджером/директором сервисов AWS Human-In-The-Loop. В свободное время он работает над обучением с положительным подкреплением со своими тремя собаками: Ваффлом, Виджетом и Уокером.

• SEO-контент и PR-распределение. Получите усиление сегодня.
• PlatoData.Network Вертикальный генеративный ИИ. Расширьте возможности себя. Доступ здесь.
• ПлатонАйСтрим. Интеллект Web3. Расширение знаний. Доступ здесь.
• ПлатонЭСГ. Углерод, чистые технологии, Энергия, Окружающая среда, Солнечная, Управление отходами. Доступ здесь.
• ПлатонЗдоровье. Биотехнологии и клинические исследования. Доступ здесь.
• Источник: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/