بهبود LLM های خود با RLHF در Amazon SageMaker | خدمات وب آمازون

یادگیری تقویتی از بازخورد انسانی (RLHF) به عنوان تکنیک استاندارد صنعتی برای اطمینان از تولید محتوای واقعی، بی ضرر و مفید در مدل های زبان بزرگ (LLM) شناخته شده است. این تکنیک با آموزش یک "مدل پاداش" بر اساس بازخورد انسانی عمل می کند و از این مدل به عنوان یک تابع پاداش برای بهینه سازی خط مشی یک عامل از طریق یادگیری تقویتی (RL) استفاده می کند. ثابت شده است که RLHF برای تولید LLMهایی مانند ChatGPT OpenAI و Claude Anthropic که با اهداف انسانی همسو هستند ضروری است. روزهایی که نیاز به مهندسی سریع غیرطبیعی برای دریافت مدل های پایه مانند GPT-3 برای حل وظایف خود دارید، گذشته است.

یک نکته مهم در مورد RLHF این است که یک روش پیچیده و اغلب ناپایدار است. به عنوان یک روش، RLHF مستلزم آن است که ابتدا باید یک مدل پاداش تربیت کنید که ترجیحات انسان را منعکس کند. سپس، LLM باید برای به حداکثر رساندن پاداش تخمینی مدل پاداش بدون فاصله گرفتن بیش از حد از مدل اصلی تنظیم شود. در این پست، نحوه تنظیم دقیق مدل پایه با RLHF در Amazon SageMaker را نشان خواهیم داد. ما همچنین به شما نشان می‌دهیم که چگونه ارزیابی انسانی را انجام دهید تا پیشرفت‌های مدل حاصل را کمی کنید.

پیش نیازها

قبل از شروع، مطمئن شوید که نحوه استفاده از منابع زیر را می دانید:

بررسی اجمالی راه حل

بسیاری از برنامه های کاربردی هوش مصنوعی مولد با LLM های پایه، مانند GPT-3، که بر روی حجم عظیمی از داده های متنی آموزش دیده اند و عموماً در دسترس عموم هستند، آغاز می شوند. Base LLMs به طور پیش‌فرض مستعد تولید متن به شیوه‌ای هستند که غیرقابل پیش‌بینی و گاهی مضر است، زیرا نمی‌دانند چگونه دستورالعمل‌ها را دنبال کنند. به عنوان مثال، با توجه به درخواست، "یک ایمیل برای پدر و مادرم بنویسید که برای آنها سالگرد مبارک آرزو می کند"، یک مدل پایه ممکن است پاسخی شبیه تکمیل خودکار فرمان ایجاد کند (مثلاً "و سالها عشق با هم") به جای دنبال کردن دستور به عنوان یک دستورالعمل صریح (مثلاً یک ایمیل کتبی). این به این دلیل رخ می دهد که مدل برای پیش بینی نشانه بعدی آموزش دیده است. برای بهبود توانایی پیروی از دستورالعمل مدل پایه، حاشیه نویسان داده های انسانی وظیفه نگارش پاسخ به درخواست های مختلف را دارند. پاسخ های جمع آوری شده (اغلب به عنوان داده های نمایشی نامیده می شود) در فرآیندی به نام تنظیم دقیق نظارت شده (SFT) استفاده می شود. RLHF بیشتر رفتار مدل را با ترجیحات انسانی اصلاح و تراز می کند. در این پست وبلاگ، از حاشیه نویس ها می خواهیم که خروجی های مدل را بر اساس پارامترهای خاصی مانند مفید بودن، صداقت و بی ضرر بودن رتبه بندی کنند. داده های ترجیحی حاصل برای آموزش یک مدل پاداش استفاده می شود که به نوبه خود توسط یک الگوریتم یادگیری تقویتی به نام بهینه سازی خط مشی پروگزیمال (PPO) برای آموزش مدل تنظیم شده نظارت شده استفاده می شود. مدل‌های پاداش و یادگیری تقویتی به طور مکرر با بازخورد انسان در حلقه اعمال می‌شوند.

نمودار زیر این معماری را نشان می دهد.

در این پست وبلاگ، ما نشان می‌دهیم که چگونه می‌توان RLHF را در Amazon SageMaker با انجام آزمایشی با محبوب و منبع باز انجام داد. مخزن RLHF Trlx. از طریق آزمایش خود، نشان می‌دهیم که چگونه می‌توان از RLHF برای افزایش سودمندی یا بی‌ضرر بودن یک مدل زبان بزرگ با استفاده از در دسترس عموم استفاده کرد. مجموعه داده مفید و بی ضرر (HH). ارائه شده توسط Anthropic. با استفاده از این مجموعه داده، آزمایش خود را با آن انجام می دهیم نوت بوک Amazon SageMaker Studio که در حال اجرا است ml.p4d.24xlarge نمونه، مثال. در نهایت، ما یک را ارائه می دهیم دفترچه ژوپیتر برای تکرار آزمایشات ما

برای دانلود و نصب پیش نیازها مراحل زیر را در نوت بوک انجام دهید:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

داده های نمایشی را وارد کنید

اولین مرحله در RLHF شامل جمع آوری داده های نمایشی برای تنظیم دقیق یک LLM پایه است. برای هدف این پست وبلاگ، ما از داده های نمایشی در مجموعه داده HH همانطور که در بالا گزارش شد استفاده می کنیم. ما می توانیم داده های نمایشی را مستقیماً از بسته مجموعه داده Hugging Face بارگیری کنیم:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

نظارت بر تنظیم دقیق پایه LLM

مرحله بعدی انجام تنظیم دقیق نظارت شده یک پایه LLM است. در این پست وبلاگ، ما به مدل پایه ای که تحت نظارت دقیق تنظیم شده است، به سادگی به عنوان "مدل SFT" اشاره می کنیم. تنظیم دقیق نظارت شده برای یادگیری از داده های نمایشی مورد نیاز است تا یک LLM در وظیفه مکالمه ما به خوبی عمل کند و یاد بگیرد که مفید و بی ضرر باشد. در این پست، ما از در دسترس عموم استفاده می کنیم EleutherAI/gpt-j-6b مدل میزبانی شده در Hugging Face. ما همچنین از چارچوب Trlx استفاده می کنیم که کدی را برای تنظیم دقیق این مدل ارائه می دهد.

برای شروع آموزش دستورات زیر را اجرا کنید:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

وارد کردن داده های ترجیحی

همانطور که در نمودار قبلی نشان داده شده است، یک مرحله مهم در RLHF شامل به دست آوردن داده های ترجیحی است. داده‌های ترجیحی مجموعه‌ای از مثال‌ها هستند که نشان می‌دهند چگونه یک انسان یک خروجی ماشین را بر اساس معیارهای مفید بودن و بی‌ضرر بودن ترجیح می‌دهد.

جدول زیر مفهوم ترجیح را نشان می دهد:

مدل پاداش خود را آموزش دهید

مدل پاداش ما بر اساس آن است GPT-J-6B و بر روی مجموعه داده HH که قبلا ذکر شد تنظیم شده است. از آنجایی که آموزش مدل پاداش تمرکز این پست نیست، ما از یک مدل پاداش از پیش آموزش دیده مشخص شده در مخزن Trlx استفاده خواهیم کرد. Dahoas/gptj-rm-static. اگر می خواهید مدل پاداش خود را آموزش دهید، لطفاً به آن مراجعه کنید کتابخانه autocrit در GitHub.

آموزش RLHF

اکنون که تمام اجزای مورد نیاز برای آموزش RLHF (یعنی یک مدل SFT و یک مدل پاداش) را به دست آورده ایم، اکنون می توانیم بهینه سازی خط مشی را با استفاده از RLHF آغاز کنیم.

برای انجام این کار، مسیر مدل SFT را در تغییر می دهیم examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

سپس دستورات آموزشی را اجرا می کنیم:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

اسکریپت مدل SFT را با استفاده از وزن های فعلی خود آغاز می کند و سپس آنها را تحت هدایت یک مدل پاداش بهینه می کند، به طوری که مدل آموزش دیده RLHF حاصل با ترجیحات انسان همسو می شود. نمودار زیر نمرات پاداش خروجی های مدل را با پیشرفت آموزش RLHF نشان می دهد. آموزش تقویتی بسیار نوسان است، بنابراین منحنی نوسان می کند، اما روند کلی پاداش صعودی است، به این معنی که خروجی مدل با توجه به مدل پاداش بیشتر و بیشتر با ترجیحات انسان همسو می شود. به طور کلی، پاداش از -3.42e-1 در تکرار صفر به بالاترین مقدار -0e-9.869 در تکرار 3 بهبود می‌یابد.

نمودار زیر یک منحنی مثال را هنگام اجرای RLHF نشان می دهد.

ارزیابی انسانی

پس از تنظیم دقیق مدل SFT خود با RLHF، اکنون هدف ما ارزیابی تأثیر فرآیند تنظیم دقیق است زیرا به هدف گسترده‌تر ما برای تولید پاسخ‌های مفید و بی‌ضرر مربوط می‌شود. در حمایت از این هدف، ما پاسخ های تولید شده توسط مدل تنظیم شده با RLHF را با پاسخ های تولید شده توسط مدل SFT مقایسه می کنیم. ما با 100 فرمان مشتق شده از مجموعه آزمایشی مجموعه داده HH آزمایش می کنیم. ما به صورت برنامه نویسی هر فرمان را از طریق مدل SFT و مدل RLHF تنظیم شده ارسال می کنیم تا دو پاسخ به دست آوریم. در نهایت، از مشروح‌نویسان انسانی می‌خواهیم که پاسخ ترجیحی را بر اساس مفید بودن و بی‌ضرر بودن درک شده انتخاب کنند.

رویکرد ارزیابی انسانی توسط سازمان تعریف، راه‌اندازی و مدیریت می‌شود Amazon SageMaker Ground Truth Plus خدمات برچسب زنی SageMaker Ground Truth Plus مشتریان را قادر می سازد تا مجموعه داده های آموزشی با کیفیت بالا و مقیاس بزرگ را برای تنظیم دقیق مدل های پایه برای انجام وظایف هوش مصنوعی مولد انسان مانند آماده کنند. همچنین به انسان‌های ماهر اجازه می‌دهد تا خروجی‌های مدل را بررسی کنند تا آنها را با ترجیحات انسانی هماهنگ کنند. علاوه بر این، سازندگان برنامه را قادر می سازد تا مدل ها را با استفاده از داده های صنعت یا شرکت خود در حین تهیه مجموعه داده های آموزشی سفارشی کنند. همانطور که در پست قبلی وبلاگ نشان داده شده است ("بازخورد انسانی با کیفیت بالا برای برنامه های کاربردی هوش مصنوعی شما از Amazon SageMaker Ground Truth PlusSageMaker Ground Truth Plus گردش کار، رابط های برچسب گذاری و نیروی کار ماهر را برای تولید داده های بازخورد انسانی با کیفیت بالا برای انجام این وظایف در یک سرویس کلید در دست و کاملاً مدیریت شده از طرف مشتری فراهم می کند. برای تسهیل مرحله ارزیابی انسانی آزمایش خود، از یک رابط کاری مشابه با رابط کاربری نشان داده شده در زیر استفاده می کنیم.

ما آزمایش ارزیابی مدل خود را با تعیین اینکه کدام یک از دو مدل - SFT یا RLHF - پاسخ‌هایی را به پایان می‌رسانیم که اغلب ترجیح داده می‌شوند. برای 84 مورد از 100 اعلان و پاسخی که مورد ارزیابی قرار می‌گیرند، مشاهده می‌کنیم که پاسخ‌های مدل تنظیم‌شده با RLHF حداقل به خوبی یا ترجیح داده‌تر از پاسخ‌های تولید شده توسط مدل تنظیم‌شده با SFT هستند (مدل آموزش‌دیده با RLHF ترجیحاً 30 بار، 54 بار گره خورده است). همانطور که در جدول زیر نشان داده شده است، مقایسه کیفی پاسخ‌های مدل شواهدی را ارائه می‌دهد که نشان می‌دهد چگونه مدل RLHF نسبت به مدل SFT مفیدتر و از نظر واقعی درست است. در مجموع، آزمایش ما نشان می‌دهد که RLHF در واقع توانایی مدل را برای تولید خروجی بهتر با مقادیر مورد نظر بهبود می‌بخشد.

ارزیابی سمیت

برای تعیین کمیت اینکه چگونه RLHF سمیت را در نسل های مدل کاهش می دهد، ما در مورد محبوب معیار قرار می دهیم. مجموعه تست RealToxicityPrompt و سمیت را در مقیاس پیوسته از 0 (نه سمی) تا 1 (سمی) اندازه گیری کنید. ما به طور تصادفی 1,000 مورد تست را از مجموعه تست RealToxicityPrompt انتخاب می کنیم و سمیت خروجی های مدل SFT و RLHF را با هم مقایسه می کنیم. از طریق ارزیابی ما، متوجه می‌شویم که مدل RLHF سمیت کمتری (0.129 به طور متوسط) نسبت به مدل SFT (0.134 به طور متوسط) دارد که اثربخشی تکنیک RLHF را در کاهش مضرات خروجی نشان می‌دهد.

پاک کردن

پس از اتمام کار، باید منابع ابری را که ایجاد کرده اید حذف کنید تا از پرداخت هزینه های اضافی جلوگیری کنید. اگر تصمیم گرفتید این آزمایش را در یک نوت بوک SageMaker منعکس کنید، فقط باید نمونه نوت بوکی را که استفاده می کردید متوقف کنید. برای اطلاعات بیشتر، به مستندات راهنمای توسعه‌دهنده AWS Sagemaker در مورد «پاکسازی".

نتیجه

در این پست نحوه آموزش مدل پایه GPT-J-6B با RLHF در Amazon SageMaker را نشان دادیم. ما کدی ارائه کردیم که نحوه تنظیم دقیق مدل پایه با آموزش نظارت شده، آموزش مدل پاداش و آموزش RL با داده های مرجع انسانی را توضیح می دهد. ما نشان دادیم که مدل آموزش دیده RLHF توسط حاشیه نویسان ترجیح داده می شود. اکنون می توانید مدل های قدرتمندی را که برای برنامه خود سفارشی شده اند ایجاد کنید.

اگر به داده های آموزشی با کیفیت بالا برای مدل های خود نیاز دارید، مانند داده های نمایشی یا داده های ترجیحی، Amazon SageMaker می تواند به شما کمک کند با حذف کارهای سنگین غیرمتمایز مرتبط با کاربردهای برچسب‌گذاری داده ساختمان و مدیریت نیروی کار برچسب‌گذاری. وقتی داده در اختیار دارید، از رابط وب SageMaker Studio Notebook یا نوت بوک ارائه شده در مخزن GitHub استفاده کنید تا مدل آموزش دیده RLHF خود را دریافت کنید.

درباره نویسنده

ویفنگ چن یک دانشمند کاربردی در تیم علمی AWS Human-in-the-Loop است. او راه‌حل‌های برچسب‌گذاری به کمک ماشین را توسعه می‌دهد تا به مشتریان کمک کند تا سرعت‌های زیادی را در دستیابی به حقیقت اساسی در حوزه بینایی رایانه، پردازش زبان طبیعی و حوزه هوش مصنوعی تولید کنند.

اران لی مدیر علوم کاربردی در خدمات انسانی در حلقه، AWS AI، آمازون است. علایق تحقیقاتی او یادگیری عمیق سه بعدی و یادگیری بازنمایی بینایی و زبان است. او قبلاً دانشمند ارشد Alexa AI، رئیس یادگیری ماشین در Scale AI و دانشمند ارشد در Pony.ai بود. قبل از آن، او با تیم ادراک Uber ATG و تیم پلتفرم یادگیری ماشین در Uber بود که بر روی یادگیری ماشین برای رانندگی خودکار، سیستم‌های یادگیری ماشین و ابتکارات استراتژیک هوش مصنوعی کار می‌کرد. او کار خود را در آزمایشگاه بل آغاز کرد و در دانشگاه کلمبیا استادیار بود. او آموزش‌های مشترکی را در ICML'3 و ICCV'17 تدریس کرد و چندین کارگاه آموزشی در NeurIPS، ICML، CVPR، ICCV در مورد یادگیری ماشین برای رانندگی مستقل، دید سه‌بعدی و روباتیک، سیستم‌های یادگیری ماشین و یادگیری ماشینی متخاصم سازمان‌دهی کرد. او دارای دکترای علوم کامپیوتر از دانشگاه کرنل است. او همکار ACM و همکار IEEE است.

کوشیک کالیانارامان یک مهندس توسعه نرم افزار در تیم علمی Human-in-the-Loop در AWS است. او در اوقات فراغت خود بسکتبال بازی می کند و وقت خود را با خانواده می گذراند.

شیونگ ژو دانشمند ارشد کاربردی در AWS است. او تیم علمی قابلیت‌های جغرافیایی Amazon SageMaker را رهبری می‌کند. حوزه تحقیقاتی فعلی او شامل بینایی کامپیوتر و آموزش مدل کارآمد است. در اوقات فراغت از دویدن، بازی بسکتبال و گذراندن وقت با خانواده لذت می برد.

الکس ویلیامز یک دانشمند کاربردی در AWS AI است که در آنجا روی مشکلات مربوط به هوش ماشینی تعاملی کار می کند. او قبل از پیوستن به آمازون، استاد گروه مهندسی برق و علوم کامپیوتر در دانشگاه تنسی بود. او همچنین سمت‌های تحقیقاتی در مایکروسافت ریسرچ، موزیلا ریسرچ و دانشگاه آکسفورد داشته است. او دارای مدرک دکترای علوم کامپیوتر از دانشگاه واترلو است.

آماr Chinoy مدیر کل/مدیر خدمات AWS Human-In-The-Loop است. در اوقات فراغت خود، او با سه سگش: وافل، ویجت و واکر، روی یادگیری تقویت مثبت کار می کند.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/