Amazon SageMaker'da Yüksek Lisans Derecelerinizi RLHF ile İyileştirme | Amazon Web Hizmetleri

İnsan Geri Bildiriminden Takviyeli Öğrenme (RLHF), büyük dil modellerinin (LLM'ler) doğru, zararsız ve yararlı içerik üretmesini sağlamaya yönelik endüstri standardı teknik olarak kabul edilmektedir. Teknik, insan geri bildirimine dayalı bir "ödül modeli" eğiterek çalışır ve bu modeli, takviyeli öğrenme (RL) yoluyla bir aracının politikasını optimize etmek için bir ödül işlevi olarak kullanır. RLHF'nin, OpenAI'nin ChatGPT'si ve Anthropic'in Claude'u gibi insan hedefleriyle uyumlu LLM'ler üretmek için gerekli olduğu kanıtlanmıştır. Görevlerinizi çözmek için GPT-3 gibi temel modelleri almak için doğal olmayan hızlı mühendisliğe ihtiyaç duyduğunuz günler geride kaldı.

RLHF'nin önemli bir uyarısı, bunun karmaşık ve çoğu zaman istikrarsız bir prosedür olmasıdır. Bir yöntem olarak RLHF, öncelikle insan tercihlerini yansıtan bir ödül modelini eğitmenizi gerektirir. Daha sonra, orijinal modelden çok fazla uzaklaşmadan ödül modelinin tahmini ödülünü en üst düzeye çıkarmak için LLM'de ince ayar yapılması gerekir. Bu yazıda Amazon SageMaker'da RLHF ile temel bir modele nasıl ince ayar yapılacağını göstereceğiz. Ayrıca, ortaya çıkan modeldeki gelişmeleri ölçmek için insan değerlendirmesinin nasıl gerçekleştirileceğini de gösteriyoruz.

Önkoşullar

Başlamadan önce aşağıdaki kaynakları nasıl kullanacağınızı anladığınızdan emin olun:

Çözüme genel bakış

Birçok Üretken Yapay Zeka uygulaması, büyük miktarda metin verisi üzerinde eğitilmiş ve genel olarak kamuya açık olan GPT-3 gibi temel LLM'lerle başlatılır. Temel LLM'ler, varsayılan olarak, talimatların nasıl takip edileceğini bilmemenin bir sonucu olarak öngörülemeyen ve bazen zararlı olan bir tarzda metin üretmeye eğilimlidir. Örneğin, istem verildiğinde, “Annemle babama mutlu yıldönümleri dileyen bir e-posta yaz”temel model, istemin otomatik tamamlanmasına benzeyen bir yanıt oluşturabilir (örn. “ve birlikte daha nice yıllar sevgiyle”) açık bir talimat olarak istemi takip etmek yerine (örneğin yazılı bir e-posta). Bunun nedeni, modelin bir sonraki jetonu tahmin edecek şekilde eğitilmiş olmasıdır. Temel modelin talimatları takip etme yeteneğini geliştirmek için, insan veri açıklayıcılarına çeşitli istemlere yanıt yazmakla görev verilir. Toplanan yanıtlar (genellikle gösteri verileri olarak anılır), denetimli ince ayar (SFT) adı verilen bir süreçte kullanılır. RLHF, modelin davranışını insan tercihleriyle daha da geliştirir ve hizalar. Bu blog yazısında, açıklayıcılardan model çıktılarını yararlılık, doğruluk ve zararsızlık gibi belirli parametrelere göre sıralamalarını istiyoruz. Ortaya çıkan tercih verileri, bir ödül modelini eğitmek için kullanılır ve bu da, denetlenen ince ayarlı modeli eğitmek için Proksimal Politika Optimizasyonu (PPO) adı verilen takviyeli öğrenme algoritması tarafından kullanılır. Ödül modelleri ve takviyeli öğrenme, döngüdeki insan geri bildirimiyle yinelemeli olarak uygulanır.

Aşağıdaki şema bu mimariyi göstermektedir.

Bu blog yazısında popüler, açık kaynaklı bir deney gerçekleştirerek Amazon SageMaker'da RLHF'nin nasıl gerçekleştirilebileceğini gösteriyoruz. RLHF repo Trlx. Deneyimiz aracılığıyla, halka açık modelleri kullanarak geniş bir dil modelinin yararlılığını veya zararsızlığını artırmak için RLHF'nin nasıl kullanılabileceğini gösteriyoruz. Yararlılık ve Zararsızlık (HH) veri kümesi Antropik tarafından sağlanmıştır. Bu veri setini kullanarak deneyimizi gerçekleştiriyoruz. Amazon SageMaker Studio dizüstü bilgisayarı bu bir üzerinde çalışıyor ml.p4d.24xlarge misal. Son olarak, bir Jupyter dizüstü bilgisayar deneylerimizi çoğaltmak için.

Önkoşulları indirip yüklemek için not defterinde aşağıdaki adımları tamamlayın:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

Gösterim verilerini içe aktar

RLHF'deki ilk adım, temel LLM'ye ince ayar yapmak için gösteri verilerinin toplanmasını içerir. Bu blog yazısının amacı doğrultusunda, yukarıda bildirildiği gibi HH veri kümesindeki gösterim verilerini kullanıyoruz. Gösteri verilerini doğrudan Hugging Face veri kümeleri paketinden yükleyebiliriz:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

Temel LLM'de ince ayar yapılması denetlendi

Bir sonraki adım, temel LLM'nin denetimli ince ayarını gerçekleştirmektir. Bu blog yazısında, denetimli ince ayardan geçmiş temel modelden yalnızca "SFT modeli" olarak bahsediyoruz. Bir LLM'nin konuşma görevimizde iyi performans göstermesi ve yararlı ve zararsız olmayı öğrenmesi için gösteri verilerinden öğrenmek için denetimli ince ayar yapılması gerekir. Bu yazıda halka açık olanı kullanıyoruz EleutherAI/gpt-j-6b Hugging Face'te barındırılan model. Ayrıca bu modelin denetimli ince ayarına yönelik kod sağlayan Trlx çerçevesini de kullanıyoruz.

Eğitime başlamak için aşağıdaki komutları çalıştırın:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

Tercih verilerini içe aktar

Önceki diyagramda gösterildiği gibi, RLHF'deki kritik bir adım, tercih verilerinin elde edilmesini içerir. Tercih verileri, yararlılık ve zararsızlık kriterlerine dayalı olarak bir insanın bir makine çıktısını diğerine göre nasıl tercih ettiğini gösteren bir örnek koleksiyonudur.

Aşağıdaki tabloda tercih kavramı gösterilmektedir:

Ödül modelinizi eğitin

Ödül modelimiz şuna dayanmaktadır: GPT-J-6B ve daha önce bahsedilen HH veri setine göre ince ayar yapılmıştır. Ödül modelinin eğitimi bu yazının odak noktası olmadığından, Trlx deposunda belirtilen önceden eğitilmiş bir ödül modelini kullanacağız. Dahoas/gptj-rm-static. Kendi ödül modelinizi eğitmek istiyorsanız lütfen şuraya bakın: GitHub'daki otomatik eleştiri kitaplığı.

RLHF Eğitimi

Artık RLHF eğitimi için gerekli tüm bileşenleri (örneğin, bir SFT modeli ve bir ödül modeli) edindiğimize göre, artık RLHF'yi kullanarak politikayı optimize etmeye başlayabiliriz.

Bunu yapmak için SFT modelinin yolunu değiştiriyoruz. examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

Daha sonra eğitim komutlarını çalıştırıyoruz:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

Komut dosyası, mevcut ağırlıklarını kullanarak SFT modelini başlatır ve ardından bunları bir ödül modelinin rehberliğinde optimize eder, böylece ortaya çıkan RLHF eğitimli model, insan tercihiyle uyumlu hale gelir. Aşağıdaki diyagram, RLHF eğitimi ilerledikçe model çıktılarının ödül puanlarını göstermektedir. Takviye eğitimi oldukça değişkendir, bu nedenle eğri dalgalanmaktadır, ancak ödülün genel eğilimi yukarı doğru, yani model çıktısı, ödül modeline göre insan tercihiyle giderek daha uyumlu hale geliyor. Genel olarak ödül, 3.42'ıncı yinelemede -1e-0'den 9.869'inci yinelemede en yüksek değer olan -3e-3000'e yükselir.

Aşağıdaki şemada RLHF çalıştırılırken örnek bir eğri gösterilmektedir.

İnsan değerlendirmesi

SFT modelimize RLHF ile ince ayar yaptıktan sonra, artık yararlı ve zararsız yanıtlar üretmeye yönelik daha geniş hedefimiz ile ilgili olduğu için ince ayar sürecinin etkisini değerlendirmeyi amaçlıyoruz. Bu hedefi desteklemek için, RLHF ile ince ayar yapılan model tarafından oluşturulan yanıtları, SFT modeli tarafından oluşturulan yanıtlarla karşılaştırıyoruz. HH veri kümesinin test kümesinden türetilen 100 istemle deneyler yapıyoruz. İki yanıt elde etmek için her istemi programlı olarak hem SFT hem de ince ayarlı RLHF modelinden geçiririz. Son olarak, insan yorumculardan algılanan yararlılık ve zararsızlığa dayalı olarak tercih edilen yanıtı seçmelerini istiyoruz.

İnsani Değerlendirme yaklaşımı şu kuruluş tarafından tanımlanır, başlatılır ve yönetilir: Amazon SageMaker Temel Gerçek Artı etiketleme hizmeti SageMaker Ground Truth Plus, müşterilerin insan benzeri üretken yapay zeka görevlerini gerçekleştirmek üzere temel modellere ince ayar yapmak için yüksek kaliteli, büyük ölçekli eğitim veri kümeleri hazırlamasına olanak tanır. Aynı zamanda vasıflı kişilerin model çıktılarını gözden geçirerek bunları insan tercihleriyle uyumlu hale getirmesine olanak tanır. Ayrıca uygulama oluşturucuların, eğitim veri kümelerini hazırlarken sektör veya şirket verilerini kullanarak modelleri özelleştirmelerine olanak tanır. Önceki bir blog yazısında gösterildiği gibi (“Amazon SageMaker Ground Truth Plus'tan üretken yapay zeka uygulamalarınız için yüksek kaliteli insan geri bildirimi”), SageMaker Ground Truth Plus, bu görevleri müşteri adına anahtar teslimi, tamamen yönetilen bir hizmetle gerçekleştirmek için yüksek kaliteli insan geri bildirim verileri oluşturmak üzere iş akışları, etiketleme arayüzleri ve yetenekli bir iş gücü sağlar. Deneyimizin insan değerlendirme adımını kolaylaştırmak için aşağıda gösterilen kullanıcı arayüzüne benzer bir görev arayüzü kullanıyoruz.

Model değerlendirme deneyimimizi, iki modelden (SFT veya RLHF) hangisinin daha sık tercih edilen yanıtlar ürettiğini belirleyerek sonlandırıyoruz. Değerlendirilen 84 istem ve yanıtın 100'ü için, RLHF ile ince ayar yapılan modelden gelen yanıtların, en azından SFT ile ince ayar yapılan model tarafından oluşturulanlar kadar iyi veya bunlardan daha fazla tercih edildiğini gözlemledik (RLHF ile eğitilmiş model, 30 kez daha çok tercih edildi, 54 kez berabere kaldı). Aşağıdaki tabloda gösterildiği gibi, model yanıtlarının niteliksel bir karşılaştırması, RLHF modelinin SFT modelinden nasıl daha yararlı ve gerçeklere dayalı olarak doğru olma eğiliminde olduğunu gösteren destekleyici kanıtlar sağlar. Toplu olarak ele alındığında deneyimimiz, RLHF'nin aslında modelin ilgilenilen değerlerle daha iyi uyumlu çıktı üretme yeteneğini geliştirdiğini gösteriyor.

Toksisite değerlendirmesi

RLHF'nin model nesillerdeki toksisiteyi nasıl azalttığını ölçmek için popüler RealToxicityPrompt test seti ve toksisiteyi 0'dan (Toksik Değil) 1'e (Zehirli) kadar sürekli bir ölçekte ölçün. RealToxicityPrompt test setinden rastgele 1,000 test vakası seçiyoruz ve SFT ve RLHF model çıktılarının toksisitesini karşılaştırıyoruz. Değerlendirmemiz sonucunda, RLHF modelinin, SFT modelinden (ortalama 0.129) daha düşük bir toksisiteye (ortalama 0.134) ulaştığını bulduk; bu, RLHF tekniğinin çıktı zararlılığını azaltmadaki etkinliğini göstermektedir.

Temizlemek

İşiniz bittiğinde ek ücret ödememek için oluşturduğunuz bulut kaynaklarını silmelisiniz. Bu deneyi bir SageMaker Notebook'ta yansıtmayı seçtiyseniz, yalnızca kullandığınız not defteri örneğini durdurmanız gerekir. Daha fazla bilgi için AWS Sagemaker Geliştirici Kılavuzu'nun “Temizlemek anlayışının sonucu olarak, buzdolabında iki üç günden fazla durmayan küçük şişeler elinizin altında bulunur.

Sonuç

Bu yazıda, Amazon SageMaker'da RLHF ile GPT-J-6B temel modelinin nasıl eğitileceğini gösterdik. Denetimli eğitimle temel modele nasıl ince ayar yapılacağını, ödül modelinin nasıl eğitileceğini ve insan referans verileriyle RL eğitiminin nasıl yapılacağını açıklayan kod sağladık. RLHF eğitimli modelin açıklayıcılar tarafından tercih edildiğini gösterdik. Artık uygulamanız için özelleştirilmiş güçlü modeller oluşturabilirsiniz.

Modelleriniz için gösteri verileri veya tercih verileri gibi yüksek kaliteli eğitim verilerine ihtiyacınız varsa, Amazon SageMaker size yardımcı olabilir Veri etiketleme uygulamaları oluşturma ve etiketleme iş gücünü yönetmeyle ilgili farklılaşmamış ağır yükleri ortadan kaldırarak. Verilere sahip olduğunuzda, RLHF eğitimli modelinizi almak için SageMaker Studio Notebook web arayüzünü veya GitHub deposunda sağlanan not defterini kullanın.

Yazarlar Hakkında

Weifeng Chen AWS Döngüdeki İnsan bilim ekibinde Uygulamalı Bilim Adamıdır. Müşterilerin Bilgisayarla Görme, Doğal Dil İşleme ve Üretken Yapay Zeka alanlarını kapsayan temel gerçekleri elde etmede ciddi hızlanmalar elde etmelerine yardımcı olmak için makine destekli etiketleme çözümleri geliştiriyor.

Erran Li döngüdeki insan hizmetleri, AWS AI, Amazon'da uygulamalı bilim yöneticisidir. Araştırma alanları 3 boyutlu derin öğrenme, görme ve dil temsili öğrenimidir. Daha önce Alexa AI'da kıdemli bir bilim insanı, Scale AI'da makine öğrenimi başkanı ve Pony.ai'de baş bilim insanıydı. Bundan önce Uber ATG'de algılama ekibi ve Uber'de makine öğrenimi platformu ekibiyle birlikte otonom sürüş için makine öğrenimi, makine öğrenimi sistemleri ve yapay zekanın stratejik girişimleri üzerinde çalışıyordu. Kariyerine Bell Laboratuvarlarında başladı ve Columbia Üniversitesi'nde yardımcı profesör olarak görev yaptı. ICML'17 ve ICCV'19'da ortak eğitim verdi ve NeurIPS, ICML, CVPR, ICCV'de otonom sürüş için makine öğrenimi, 3D görme ve robotik, makine öğrenimi sistemleri ve çekişmeli makine öğrenimi üzerine çeşitli atölye çalışmalarının ortaklaşa düzenledi. Cornell Üniversitesi'nde bilgisayar bilimi alanında doktorası var. ACM Üyesi ve IEEE Üyesidir.

Koushik Kalyanaraman AWS'de Döngüdeki İnsan bilim ekibinde Yazılım Geliştirme Mühendisidir. Boş zamanlarında basketbol oynuyor ve ailesiyle vakit geçiriyor.

Xiong Zhou AWS'de Kıdemli Uygulamalı Bilim Adamıdır. Amazon SageMaker'ın jeo-uzamsal yetenekleri için bilim ekibine liderlik ediyor. Şu anki araştırma alanı bilgisayarlı görü ve etkili model eğitimini içermektedir. Boş zamanlarında koşmayı, basketbol oynamayı ve ailesiyle vakit geçirmeyi seviyor.

Alex Williams AWS AI'da uygulamalı bir bilim insanıdır ve etkileşimli makine zekasıyla ilgili sorunlar üzerinde çalışmaktadır. Amazon'a katılmadan önce Tennessee Üniversitesi Elektrik Mühendisliği ve Bilgisayar Bilimleri Bölümü'nde profesördü. Ayrıca Microsoft Research, Mozilla Research ve Oxford Üniversitesi'nde araştırma pozisyonlarında bulundu. Waterloo Üniversitesi'nden Bilgisayar Bilimleri alanında doktora derecesine sahiptir.

Ammar Chinoy AWS Human-In-The-Loop hizmetlerinin Genel Müdürü/Direktörüdür. Boş zamanlarında üç köpeğiyle pozitif pekiştirmeli öğrenme üzerinde çalışıyor: Waffle, Widget ve Walker.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/