Meningkatkan LLM Anda dengan RLHF di Amazon SageMaker | Layanan Web Amazon

Pembelajaran Penguatan dari Umpan Balik Manusia (RLHF) diakui sebagai teknik standar industri untuk memastikan model bahasa besar (LLM) menghasilkan konten yang jujur, tidak berbahaya, dan bermanfaat. Teknik ini beroperasi dengan melatih “model penghargaan” berdasarkan umpan balik manusia dan menggunakan model ini sebagai fungsi penghargaan untuk mengoptimalkan kebijakan agen melalui pembelajaran penguatan (RL). RLHF telah terbukti penting untuk menghasilkan LLM seperti ChatGPT OpenAI dan Claude Anthropic yang selaras dengan tujuan manusia. Lewatlah sudah hari-hari ketika Anda memerlukan rekayasa cepat yang tidak wajar untuk mendapatkan model dasar, seperti GPT-3, untuk menyelesaikan tugas Anda.

Peringatan penting dari RLHF adalah bahwa ini merupakan prosedur yang kompleks dan seringkali tidak stabil. Sebagai sebuah metode, RLHF mengharuskan Anda terlebih dahulu melatih model penghargaan yang mencerminkan preferensi manusia. Kemudian, LLM harus disesuaikan untuk memaksimalkan perkiraan imbalan model penghargaan tanpa menyimpang terlalu jauh dari model aslinya. Dalam postingan ini, kami akan mendemonstrasikan cara menyempurnakan model dasar dengan RLHF di Amazon SageMaker. Kami juga menunjukkan cara melakukan evaluasi manusia untuk mengukur peningkatan model yang dihasilkan.

Prasyarat

Sebelum memulai, pastikan Anda memahami cara menggunakan sumber daya berikut:

Ikhtisar solusi

Banyak aplikasi AI Generatif dimulai dengan LLM dasar, seperti GPT-3, yang dilatih pada data teks dalam jumlah besar dan umumnya tersedia untuk publik. LLM dasar, secara default, cenderung menghasilkan teks dengan cara yang tidak dapat diprediksi dan terkadang berbahaya karena tidak mengetahui cara mengikuti instruksi. Misalnya, jika diberi perintah, “tulis email ke orang tuaku untuk mengucapkan selamat ulang tahun kepada mereka”, model dasar mungkin menghasilkan respons yang menyerupai pelengkapan otomatis pada prompt (mis “dan bertahun-tahun lagi cinta bersama”) daripada mengikuti perintah sebagai instruksi eksplisit (misalnya email tertulis). Hal ini terjadi karena model dilatih untuk memprediksi token berikutnya. Untuk meningkatkan kemampuan mengikuti instruksi model dasar, anotator data manusia ditugaskan untuk menulis respons terhadap berbagai perintah. Respons yang dikumpulkan (sering disebut sebagai data demonstrasi) digunakan dalam proses yang disebut penyempurnaan terawasi (SFT). RLHF selanjutnya menyempurnakan dan menyelaraskan perilaku model dengan preferensi manusia. Dalam postingan blog ini, kami meminta anotator untuk memberi peringkat keluaran model berdasarkan parameter tertentu, seperti bermanfaat, jujur, dan tidak berbahaya. Data preferensi yang dihasilkan digunakan untuk melatih model penghargaan yang selanjutnya digunakan oleh algoritma pembelajaran penguatan yang disebut Proximal Policy Optimization (PPO) untuk melatih model yang diawasi dan disempurnakan. Model penghargaan dan pembelajaran penguatan diterapkan secara berulang dengan umpan balik yang bersifat human-in-the-loop.

Diagram berikut menggambarkan arsitektur ini.

Dalam postingan blog ini, kami mengilustrasikan bagaimana RLHF dapat dilakukan di Amazon SageMaker dengan melakukan eksperimen menggunakan sumber terbuka dan populer. Repo RLHF Trlx. Melalui eksperimen kami, kami mendemonstrasikan bagaimana RLHF dapat digunakan untuk meningkatkan bermanfaat atau tidaknya model bahasa besar menggunakan model bahasa yang tersedia untuk umum. Kumpulan data Bermanfaat dan Tidak Berbahaya (HH). disediakan oleh Antropik. Dengan menggunakan kumpulan data ini, kami melakukan percobaan dengan Buku catatan Amazon SageMaker Studio yang sedang berjalan pada sebuah ml.p4d.24xlarge contoh. Akhirnya, kami menyediakan a Notebook Jupyter untuk meniru eksperimen kami.

Selesaikan langkah-langkah berikut di buku catatan untuk mengunduh dan menginstal prasyarat:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Impor data demonstrasi

Langkah pertama dalam RLHF melibatkan pengumpulan data demonstrasi untuk menyempurnakan LLM dasar. Untuk tujuan postingan blog ini, kami menggunakan data demonstrasi dalam kumpulan data HH seperti yang dilaporkan di atas. Kita dapat memuat data demonstrasi langsung dari paket dataset Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Diawasi penyempurnaan LLM dasar

Langkah selanjutnya adalah melakukan penyempurnaan LLM dasar yang diawasi. Dalam postingan blog ini, kami menyebut model dasar yang telah menjalani penyesuaian yang diawasi hanya sebagai “model SFT”. Penyesuaian yang diawasi diperlukan untuk belajar dari data demonstrasi sehingga LLM bekerja dengan baik dalam tugas percakapan kita dan belajar untuk membantu dan tidak berbahaya. Dalam posting ini, kami menggunakan yang tersedia untuk umum EleutherAI/gpt-j-6b model yang dihosting di Hugging Face. Kami juga menggunakan kerangka kerja Trlx yang menyediakan kode untuk menyempurnakan model ini dengan pengawasan.

Jalankan perintah berikut untuk memulai pelatihan:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Impor data preferensi

Seperti yang ditunjukkan pada diagram sebelumnya, langkah penting dalam RLHF melibatkan perolehan data preferensi. Data preferensi adalah kumpulan contoh yang menunjukkan bagaimana manusia lebih memilih satu keluaran mesin dibandingkan yang lain berdasarkan kriteria bermanfaat dan tidak berbahaya.

Tabel berikut menunjukkan konsep preferensi:

Latih model penghargaan Anda

Model penghargaan kami didasarkan pada GPT-J-6B dan disempurnakan pada kumpulan data HH yang disebutkan sebelumnya. Karena melatih model imbalan bukan fokus dari postingan ini, kami akan menggunakan model imbalan terlatih yang ditentukan dalam repo Trlx, yaitu Dahoas/gptj-rm-static. Jika Anda ingin melatih model penghargaan Anda sendiri, silakan merujuk ke perpustakaan autokritik di GitHub.

Pelatihan RLHF

Kini setelah kita memperoleh semua komponen yang diperlukan untuk pelatihan RLHF (yaitu model SFT dan model penghargaan), kini kita dapat mulai mengoptimalkan kebijakan menggunakan RLHF.

Untuk melakukan ini, kami mengubah jalur ke model SFT di examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Kami kemudian menjalankan perintah pelatihan:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Skrip memulai model SFT menggunakan bobotnya saat ini dan kemudian mengoptimalkannya di bawah panduan model penghargaan, sehingga model terlatih RLHF yang dihasilkan selaras dengan preferensi manusia. Diagram berikut menunjukkan skor imbalan keluaran model seiring kemajuan pelatihan RLHF. Pelatihan penguatan sangat fluktuatif, sehingga kurvanya berfluktuasi, namun tren imbalan secara keseluruhan meningkat, artinya keluaran model semakin selaras dengan preferensi manusia berdasarkan model imbalan. Secara keseluruhan, reward meningkat dari -3.42e-1 pada iterasi ke-0 ke nilai tertinggi -9.869e-3 pada iterasi ke-3000.

Diagram berikut menunjukkan contoh kurva saat menjalankan RLHF.

Evaluasi manusia

Setelah menyempurnakan model SFT kami dengan RLHF, kami sekarang bertujuan untuk mengevaluasi dampak dari proses penyesuaian yang berkaitan dengan tujuan kami yang lebih luas untuk menghasilkan respons yang bermanfaat dan tidak berbahaya. Untuk mendukung tujuan ini, kami membandingkan respons yang dihasilkan oleh model yang disempurnakan dengan RLHF dengan respons yang dihasilkan oleh model SFT. Kami bereksperimen dengan 100 perintah yang berasal dari kumpulan pengujian kumpulan data HH. Kami secara terprogram meneruskan setiap perintah melalui SFT dan model RLHF yang disempurnakan untuk mendapatkan dua respons. Terakhir, kami meminta anotator manusia untuk memilih respons yang diinginkan berdasarkan persepsi bermanfaat dan tidak berbahaya.

Pendekatan Evaluasi Manusia didefinisikan, diluncurkan, dan dikelola oleh Kebenaran Dasar Amazon SageMaker Plus layanan pelabelan. SageMaker Ground Truth Plus memungkinkan pelanggan menyiapkan kumpulan data pelatihan berskala besar dan berkualitas tinggi untuk menyempurnakan model fondasi guna melakukan tugas AI generatif yang mirip manusia. Hal ini juga memungkinkan manusia yang terampil untuk meninjau keluaran model untuk menyelaraskannya dengan preferensi manusia. Selain itu, hal ini memungkinkan pembuat aplikasi untuk menyesuaikan model menggunakan data industri atau perusahaan mereka sambil menyiapkan kumpulan data pelatihan. Seperti yang ditunjukkan pada postingan blog sebelumnya (“Masukan manusia berkualitas tinggi untuk aplikasi AI generatif Anda dari Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus menyediakan alur kerja, antarmuka pelabelan, dan tenaga kerja terampil untuk menghasilkan data umpan balik manusia berkualitas tinggi guna menyelesaikan tugas-tugas ini dalam layanan turnkey yang terkelola sepenuhnya atas nama pelanggan. Kami menggunakan antarmuka tugas yang mirip dengan UI yang ditunjukkan di bawah ini untuk memfasilitasi langkah evaluasi manusia dalam eksperimen kami.

Kami menyimpulkan eksperimen evaluasi model kami dengan menentukan model mana – SFT atau RLHF – yang menghasilkan respons yang lebih sering disukai. Untuk 84 dari 100 permintaan dan respons yang dievaluasi, kami mengamati bahwa respons dari model yang disempurnakan dengan RLHF setidaknya sama bagusnya atau lebih disukai daripada respons yang dihasilkan oleh model yang disempurnakan dengan SFT (model yang dilatih RLHF adalah lebih disukai 30 kali, seri 54 kali). Seperti yang ditunjukkan pada tabel di bawah, perbandingan kualitatif tanggapan model memberikan bukti pendukung yang menggambarkan bagaimana model RLHF cenderung lebih bermanfaat dan benar secara faktual dibandingkan model SFT. Secara kolektif, eksperimen kami menunjukkan bahwa RLHF memang meningkatkan kemampuan model untuk menghasilkan keluaran yang lebih selaras dengan nilai-nilai yang diinginkan.

Evaluasi toksisitas

Untuk mengukur bagaimana RLHF mengurangi toksisitas pada generasi model, kami melakukan benchmark pada generasi model yang populer Kumpulan pengujian RealToxicityPrompt dan mengukur toksisitas pada skala berkelanjutan dari 0 (Tidak Beracun) hingga 1 (Beracun). Kami secara acak memilih 1,000 kasus uji dari set pengujian RealToxicityPrompt dan membandingkan toksisitas keluaran model SFT dan RLHF. Melalui evaluasi kami, kami menemukan bahwa model RLHF mencapai toksisitas yang lebih rendah (rata-rata 0.129) dibandingkan model SFT (rata-rata 0.134), yang menunjukkan efektivitas teknik RLHF dalam mengurangi bahaya keluaran.

Membersihkan

Setelah selesai, Anda harus menghapus sumber daya cloud yang Anda buat untuk menghindari biaya tambahan. Jika Anda memilih untuk mencerminkan eksperimen ini di Notebook SageMaker, Anda hanya perlu menghentikan instance notebook yang Anda gunakan. Untuk informasi lebih lanjut, lihat dokumentasi Panduan Pengembang AWS Sagemaker di “Membersihkan".

Kesimpulan

Dalam postingan ini, kami menunjukkan cara melatih model dasar, GPT-J-6B, dengan RLHF di Amazon SageMaker. Kami menyediakan kode yang menjelaskan cara menyempurnakan model dasar dengan pelatihan yang diawasi, melatih model reward, dan pelatihan RL dengan data referensi manusia. Kami menunjukkan bahwa model terlatih RLHF lebih disukai oleh anotator. Sekarang, Anda dapat membuat model canggih yang disesuaikan untuk aplikasi Anda.

Jika Anda memerlukan data pelatihan berkualitas tinggi untuk model Anda, seperti data demonstrasi atau data preferensi, Amazon SageMaker dapat membantu Anda dengan menghilangkan beban berat yang tidak terdiferensiasi yang terkait dengan pembuatan aplikasi pelabelan data dan pengelolaan tenaga kerja pelabelan. Saat Anda memiliki datanya, gunakan antarmuka web SageMaker Studio Notebook atau notebook yang disediakan di repositori GitHub untuk mendapatkan model terlatih RLHF Anda.

Tentang Penulis

Weifeng Chen adalah Ilmuwan Terapan di tim sains AWS Human-in-the-loop. Dia mengembangkan solusi pelabelan dengan bantuan mesin untuk membantu pelanggan memperoleh percepatan drastis dalam memperoleh kebenaran dasar yang mencakup domain Computer Vision, Natural Language Processing, dan Generative AI.

Erran Li adalah manajer sains terapan di layanan human-in-the-loop, AWS AI, Amazon. Minat penelitiannya adalah pembelajaran mendalam 3D, serta pembelajaran visi dan representasi bahasa. Sebelumnya dia adalah ilmuwan senior di Alexa AI, kepala pembelajaran mesin di Scale AI, dan kepala ilmuwan di Pony.ai. Sebelumnya, ia bersama tim persepsi di Uber ATG dan tim platform pembelajaran mesin di Uber mengerjakan pembelajaran mesin untuk mengemudi otonom, sistem pembelajaran mesin, dan inisiatif strategis AI. Dia memulai karirnya di Bell Labs dan menjadi profesor di Universitas Columbia. Dia ikut mengajar tutorial di ICML'17 dan ICCV'19, dan ikut menyelenggarakan beberapa lokakarya di NeurIPS, ICML, CVPR, ICCV tentang pembelajaran mesin untuk mengemudi otonom, visi dan robotika 3D, sistem pembelajaran mesin, dan pembelajaran mesin permusuhan. Dia memiliki gelar PhD dalam ilmu komputer di Cornell University. Dia adalah Rekan ACM dan Rekan IEEE.

Koushik Kalyanaraman adalah Insinyur Pengembangan Perangkat Lunak di tim sains Human-in-the-loop di AWS. Di waktu luangnya, ia bermain basket dan menghabiskan waktu bersama keluarganya.

Xiong Zhou adalah Ilmuwan Terapan Senior di AWS. Dia memimpin tim sains untuk kemampuan geospasial Amazon SageMaker. Bidang penelitiannya saat ini mencakup visi komputer dan pelatihan model yang efisien. Di waktu luangnya, ia menikmati berlari, bermain basket, dan menghabiskan waktu bersama keluarganya.

alex Williams adalah ilmuwan terapan di AWS AI yang menangani masalah terkait kecerdasan mesin interaktif. Sebelum bergabung dengan Amazon, ia adalah seorang profesor di Departemen Teknik Elektro dan Ilmu Komputer di Universitas Tennessee. Ia juga pernah memegang posisi peneliti di Microsoft Research, Mozilla Research, dan Universitas Oxford. Beliau meraih gelar PhD di bidang Ilmu Komputer dari University of Waterloo.

Ammar Chinoy adalah General Manager/Direktur untuk layanan AWS Human-In-The-Loop. Di waktu luangnya, dia melakukan pembelajaran penguatan positif dengan ketiga anjingnya: Waffle, Widget, dan Walker.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/