Amazon SageMaker에서 RLHF를 사용하여 LLM 개선하기 | 아마존 웹 서비스

RLHF(사람 피드백을 통한 강화 학습)는 LLM(대형 언어 모델)이 진실되고 무해하며 유용한 콘텐츠를 생성하도록 보장하는 업계 표준 기술로 인식됩니다. 이 기술은 인간의 피드백을 기반으로 "보상 모델"을 훈련하여 작동하며 이 모델을 보상 기능으로 사용하여 강화 학습(RL)을 통해 에이전트의 정책을 최적화합니다. RLHF는 인간의 목표에 부합하는 OpenAI의 ChatGPT 및 Anthropic의 Claude와 같은 LLM을 생산하는 데 필수적인 것으로 입증되었습니다. 작업을 해결하기 위해 GPT-3와 같은 기본 모델을 얻기 위해 부자연스러운 프롬프트 엔지니어링이 필요한 시대는 지났습니다.

RLHF의 중요한 주의 사항은 절차가 복잡하고 종종 불안정하다는 것입니다. 방법으로 RLHF에서는 먼저 인간 선호도를 반영하는 보상 모델을 훈련해야 합니다. 그런 다음 원래 모델에서 너무 멀리 벗어나지 않고 보상 모델의 예상 보상을 최대화하도록 LLM을 미세 조정해야 합니다. 이 게시물에서는 Amazon SageMaker에서 RLHF를 사용하여 기본 모델을 미세 조정하는 방법을 보여 드리겠습니다. 또한 결과 모델의 개선 사항을 정량화하기 위해 인간 평가를 수행하는 방법도 보여줍니다.

사전 조건

시작하기 전에 다음 리소스를 사용하는 방법을 이해하고 있는지 확인하세요.

솔루션 개요

많은 Generative AI 애플리케이션은 대량의 텍스트 데이터에 대해 훈련되었으며 일반적으로 대중에게 제공되는 GPT-3와 같은 기본 LLM으로 시작됩니다. 기본 LLM은 기본적으로 지침을 따르는 방법을 모르기 때문에 예측할 수 없고 때로는 유해한 방식으로 텍스트를 생성하는 경향이 있습니다. 예를 들어, 프롬프트가 주어지면 “부모님에게 결혼 기념일을 축하하는 이메일을 써보세요”, 기본 모델은 프롬프트의 자동 완성과 유사한 응답을 생성할 수 있습니다(예: “그리고 앞으로 몇 년 동안 함께 사랑할 거예요”) 명시적인 지침(예: 서면 이메일)으로 프롬프트를 따르기보다는 이는 모델이 다음 토큰을 예측하도록 훈련되었기 때문에 발생합니다. 기본 모델의 지시 따르기 능력을 향상시키기 위해 인간 데이터 주석 작성자는 다양한 프롬프트에 대한 응답을 작성하는 임무를 맡습니다. 수집된 응답(종종 데모 데이터라고도 함)은 감독 미세 조정(SFT)이라는 프로세스에서 사용됩니다. RLHF는 모델의 동작을 인간의 선호도에 맞게 더욱 개선하고 조정합니다. 이 블로그 게시물에서는 주석 작성자에게 유용성, 진실성, 무해성과 같은 특정 매개변수를 기반으로 모델 출력의 순위를 매기도록 요청합니다. 결과 선호도 데이터는 PPO(Proximal Policy Optimization)라는 강화 학습 알고리즘에서 사용되는 보상 모델을 훈련하는 데 사용되어 감독되는 미세 조정 모델을 훈련합니다. 보상 모델과 강화 학습은 인간 참여 피드백을 통해 반복적으로 적용됩니다.

다음 다이어그램은이 아키텍처를 보여줍니다.

이 블로그 게시물에서는 널리 사용되는 오픈 소스 API를 사용하여 실험을 수행하여 Amazon SageMaker에서 RLHF를 수행하는 방법을 설명합니다. RLHF 저장소 Trlx. 실험을 통해 우리는 공개적으로 사용 가능한 언어 모델을 사용하여 RLHF를 사용하여 대규모 언어 모델의 유용성 또는 무해성을 높이는 방법을 보여줍니다. 유용성 및 무해성(HH) 데이터세트 앤트로픽 제공. 이 데이터 세트를 사용하여 우리는 다음과 같은 실험을 수행합니다. Amazon SageMaker Studio 노트북 그게 실행 중이야 ml.p4d.24xlarge 사례. 마지막으로, 우리는 주피터 노트 우리의 실험을 재현하기 위해.

필수 구성 요소를 다운로드하고 설치하려면 노트북에서 다음 단계를 완료하세요.

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

데모 데이터 가져오기

RLHF의 첫 번째 단계는 기본 LLM을 미세 조정하기 위해 데모 데이터를 수집하는 것입니다. 이 블로그 게시물의 목적을 위해 우리는 위에 보고된 HH 데이터 세트의 데모 데이터를 사용하고 있습니다. Hugging Face 데이터 세트 패키지에서 직접 데모 데이터를 로드할 수 있습니다.

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

기본 LLM 미세 조정 감독

다음 단계는 기본 LLM의 감독된 미세 조정을 수행하는 것입니다. 이 블로그 게시물에서는 감독된 미세 조정을 거친 기본 모델을 간단히 "SFT 모델"이라고 부릅니다. LLM이 대화 작업을 잘 수행하고 유용하고 무해한 방법을 학습할 수 있도록 데모 데이터로부터 학습하려면 감독된 미세 조정이 필요합니다. 이번 포스팅에서는 공개적으로 사용 가능한 EleutherAI/gpt-j-6b Hugging Face에서 호스팅되는 모델입니다. 또한 이 모델을 감독하여 미세 조정하기 위한 코드를 제공하는 Trlx 프레임워크를 사용합니다.

훈련을 시작하려면 다음 명령을 실행하십시오.

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

기본 설정 데이터 가져오기

이전 다이어그램에서 볼 수 있듯이 RLHF의 중요한 단계에는 선호도 데이터 획득이 포함됩니다. 선호 데이터는 유용성 및 무해성 기준에 따라 인간이 한 기계 출력을 다른 기계 출력보다 선호하는 방식을 보여주는 예제 모음입니다.

다음 표는 기본 설정의 개념을 보여줍니다.

보상 모델 학습

우리의 보상 모델은 다음을 기반으로 합니다. GPT-J-6B 이전에 언급한 HH 데이터 세트에서 미세 조정되었습니다. 보상 모델 훈련은 이 게시물의 초점이 아니기 때문에 Trlx 저장소에 지정된 사전 훈련된 보상 모델을 사용합니다. Dahoas/gptj-rm-static. 자신만의 보상 모델을 학습시키고 싶다면 다음을 참고하세요. GitHub의 autocrit 라이브러리.

RLHF 훈련

이제 RLHF 훈련에 필요한 모든 구성 요소(예: SFT 모델 및 보상 모델)를 획득했으므로 이제 RLHF를 사용하여 정책 최적화를 시작할 수 있습니다.

이를 위해 SFT 모델의 경로를 수정합니다. examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

그런 다음 훈련 명령을 실행합니다.

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

스크립트는 현재 가중치를 사용하여 SFT 모델을 시작한 다음 보상 모델의 안내에 따라 이를 최적화하여 결과 RLHF 교육 모델이 인간 선호도에 부합하도록 합니다. 다음 다이어그램은 RLHF 훈련이 진행됨에 따라 모델 출력의 보상 점수를 보여줍니다. 강화 훈련은 변동성이 커서 곡선이 변동하지만 전체적인 보상 추세는 상향입니다. 즉, 보상 모델에 따라 모델 출력이 인간의 선호도와 점점 더 일치하고 있음을 의미합니다. 전체적으로 보상은 3.42번째 반복에서 -1e-0에서 9.869번째 반복에서 가장 높은 값인 -3e-3000으로 향상됩니다.

다음 다이어그램은 RLHF를 실행할 때의 예제 곡선을 보여줍니다.

인간 평가

RLHF를 사용하여 SFT 모델을 미세 조정한 후 이제 우리는 유용하고 무해한 응답을 생성하려는 광범위한 목표와 관련하여 미세 조정 프로세스의 영향을 평가하는 것을 목표로 합니다. 이 목표를 지원하기 위해 RLHF로 미세 조정된 모델에서 생성된 응답을 SFT 모델에서 생성된 응답과 비교합니다. 우리는 HH 데이터 세트의 테스트 세트에서 파생된 100개의 프롬프트를 실험합니다. 우리는 SFT와 미세 조정된 RLHF 모델을 통해 각 프롬프트를 프로그래밍 방식으로 전달하여 두 가지 응답을 얻습니다. 마지막으로 우리는 인간 주석자에게 인지된 유용성과 무해성을 기반으로 선호하는 응답을 선택하도록 요청합니다.

인간 평가 접근 방식은 다음에 의해 정의, 시작 및 관리됩니다. Amazon SageMaker Ground Truth Plus 라벨링 서비스. SageMaker Ground Truth Plus를 사용하면 고객은 고품질의 대규모 교육 데이터 세트를 준비하여 기초 모델을 미세 조정하여 인간과 유사한 생성 AI 작업을 수행할 수 있습니다. 또한 숙련된 사람이 모델 출력을 검토하여 사람의 선호도에 맞출 수 있습니다. 또한 애플리케이션 빌더는 교육 데이터 세트를 준비하면서 업계 또는 회사 데이터를 사용하여 모델을 맞춤 설정할 수 있습니다. 이전 블로그 포스팅에서 보여드렸던 것처럼 (“Amazon SageMaker Ground Truth Plus의 생성 AI 애플리케이션에 대한 고품질 인간 피드백”), SageMaker Ground Truth Plus는 고객을 대신하여 완전 관리형 턴키 서비스로 이러한 작업을 수행하기 위해 고품질 인간 피드백 데이터를 생성하는 워크플로, 라벨링 인터페이스 및 숙련된 인력을 제공합니다. 우리는 실험의 인간 평가 단계를 용이하게 하기 위해 아래 표시된 UI와 유사한 작업 인터페이스를 사용합니다.

우리는 두 모델(SFT 또는 RLHF) 중 어느 모델이 더 자주 선호되는 응답을 생성했는지 결정하여 모델 평가 실험을 마무리합니다. 평가되는 84개의 프롬프트 및 응답 중 100개에 대해 RLHF로 미세 조정된 모델의 응답이 SFT로 미세 조정된 모델에서 생성된 응답보다 최소한 같거나 더 선호된다는 것을 관찰합니다(RLHF로 훈련된 모델은 더 바람직하게는 30번, 공동 54번). 아래 표에 표시된 것처럼 모델 응답의 질적 비교는 RLHF 모델이 SFT 모델보다 더 유용하고 사실적으로 올바른 경향이 있음을 보여주는 뒷받침 증거를 제공합니다. 집단적으로 볼 때, 우리의 실험은 RLHF가 실제로 관심 값과 더 잘 일치하는 출력을 생성하는 모델의 능력을 향상시킨다는 것을 시사합니다.

독성 평가

RLHF가 모델 세대에서 독성을 어떻게 줄이는지 정량화하기 위해 우리는 인기 있는 RealToxicityPrompt 테스트 세트 0(독성 없음)부터 1(독성)까지 연속 척도로 독성을 측정합니다. RealToxicityPrompt 테스트 세트에서 1,000개의 테스트 사례를 무작위로 선택하고 SFT 및 RLHF 모델 출력의 독성을 비교합니다. 평가를 통해 RLHF 모델은 SFT 모델(평균 0.129)보다 낮은 독성(평균 0.134)을 달성하며, 이는 출력 유해성을 줄이는 데 있어 RLHF 기술의 효율성을 입증합니다.

정리

완료한 후에는 추가 비용이 발생하지 않도록 생성한 클라우드 리소스를 삭제해야 합니다. SageMaker 노트북에서 이 실험을 미러링하기로 선택한 경우 사용 중이던 노트북 인스턴스만 중지하면 됩니다. 자세한 내용은 AWS Sagemaker 개발자 가이드의 "정리".

결론

이 게시물에서는 Amazon SageMaker에서 RLHF를 사용하여 기본 모델 GPT-J-6B를 훈련하는 방법을 보여주었습니다. 지도 학습을 통해 기본 모델을 미세 조정하고, 보상 모델을 학습하고, 인간 참조 데이터를 사용하여 RL 학습을 수행하는 방법을 설명하는 코드를 제공했습니다. 우리는 주석자가 RLHF 훈련 모델을 선호한다는 것을 입증했습니다. 이제 귀하의 애플리케이션에 맞게 사용자 정의된 강력한 모델을 생성할 수 있습니다.

데모 데이터, 선호도 데이터 등 모델에 대한 고품질 교육 데이터가 필요한 경우 Amazon SageMaker가 도움이 될 수 있습니다 데이터 라벨링 애플리케이션 구축 및 라벨링 인력 관리와 관련된 획일적인 무거운 작업을 제거합니다. 데이터가 있으면 SageMaker Studio 노트북 웹 인터페이스 또는 GitHub 리포지토리에 제공된 노트북을 사용하여 RLHF 교육 모델을 가져옵니다.

저자에 관하여

첸 웨이펑 AWS Human-in-the-Loop 과학 팀의 응용 과학자입니다. 그는 고객이 컴퓨터 비전, 자연어 처리 및 생성 AI 영역에 걸쳐 실제 정보를 획득하는 데 있어 획기적인 속도를 얻을 수 있도록 기계 지원 라벨링 솔루션을 개발합니다.

리 에란 Amazon-in-the-loop 서비스인 AWS AI의 응용 과학 관리자입니다. 그의 연구 관심 분야는 3D 딥러닝, 비전 및 언어 표현 학습입니다. 이전에는 Alexa AI의 선임 과학자, Scale AI의 머신러닝 책임자, Pony.ai의 수석 과학자였습니다. 그 전에는 Uber ATG의 인식 팀과 Uber의 기계 학습 플랫폼 팀에서 자율 주행을 위한 기계 학습, 기계 학습 시스템 및 AI의 전략적 이니셔티브를 연구했습니다. 그는 Bell Labs에서 경력을 시작했으며 Columbia University의 겸임 교수였습니다. 그는 ICML'17 및 ICCV'19에서 튜토리얼을 공동으로 가르쳤고 NeurIPS, ICML, CVPR, ICCV에서 자율 주행을 위한 기계 학습, 3D 비전 및 로봇 공학, 기계 학습 시스템 및 적대적 기계 학습에 관한 여러 워크샵을 공동 조직했습니다. 그는 코넬 대학교에서 컴퓨터 공학 박사 학위를 받았습니다. 그는 ACM 펠로우이자 IEEE 펠로우입니다.

코식 칼야나라만 AWS Human-in-the-Loop 과학 팀의 소프트웨어 개발 엔지니어입니다. 여가 시간에는 농구를 하고 가족과 함께 시간을 보냅니다.

시옹 저우 AWS의 수석 응용 과학자입니다. 그는 Amazon SageMaker 지리 공간적 기능에 대한 과학 팀을 이끌고 있습니다. 현재 그의 연구 분야에는 컴퓨터 비전과 효율적인 모델 훈련이 포함됩니다. 여가 시간에는 달리기, 농구, 가족과 함께 시간을 보내는 것을 즐깁니다.

알렉스 윌리엄스 그는 AWS AI의 응용 과학자로 대화형 기계 지능과 관련된 문제를 연구하고 있습니다. Amazon에 합류하기 전에는 테네시 대학교 전기 공학 및 컴퓨터 과학과 교수로 재직했습니다. 그는 또한 Microsoft Research, Mozilla Research 및 University of Oxford에서 연구직을 역임했습니다. 그는 워털루 대학교에서 컴퓨터 과학 박사 학위를 취득했습니다.

암마r 치노이 AWS Human-In-The-Loop 서비스의 총괄 관리자/이사입니다. 여가 시간에는 Waffle, Widget, Walker 세 마리의 개와 함께 긍정적인 강화 학습을 합니다.

• SEO 기반 콘텐츠 및 PR 배포. 오늘 증폭하십시오.
• PlatoData.Network 수직 생성 Ai. 자신에게 권한을 부여하십시오. 여기에서 액세스하십시오.
• PlatoAiStream. 웹3 인텔리전스. 지식 증폭. 여기에서 액세스하십시오.
• 플라톤ESG. 탄소, 클린테크, 에너지, 환경, 태양광, 폐기물 관리. 여기에서 액세스하십시오.
• PlatoHealth. 생명 공학 및 임상 시험 인텔리전스. 여기에서 액세스하십시오.
• 출처: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/