การปรับปรุง LLM ของคุณด้วย RLHF บน Amazon SageMaker | อเมซอนเว็บเซอร์วิส

การเรียนรู้แบบเสริมกำลังจากผลตอบรับของมนุษย์ (RLHF) ได้รับการยอมรับว่าเป็นเทคนิคมาตรฐานอุตสาหกรรมในการรับรองว่าโมเดลภาษาขนาดใหญ่ (LLM) จะสร้างเนื้อหาที่เป็นจริง ไม่เป็นอันตราย และเป็นประโยชน์ เทคนิคนี้ดำเนินการโดยการฝึกอบรม "แบบจำลองการให้รางวัล" ตามความคิดเห็นของมนุษย์ และใช้แบบจำลองนี้เป็นฟังก์ชันการให้รางวัลเพื่อปรับนโยบายของตัวแทนให้เหมาะสมผ่านการเรียนรู้แบบเสริมกำลัง (RL) RLHF ได้รับการพิสูจน์แล้วว่ามีความจำเป็นในการผลิต LLM เช่น ChatGPT ของ OpenAI และ Claude ของ Anthropic ที่สอดคล้องกับวัตถุประสงค์ของมนุษย์ หมดยุคแล้วที่คุณจะต้องอาศัยวิศวกรรมที่รวดเร็วอย่างไม่เป็นธรรมชาติเพื่อรับโมเดลพื้นฐาน เช่น GPT-3 เพื่อแก้ไขงานของคุณ

ข้อแม้ที่สำคัญของ RLHF คือเป็นขั้นตอนที่ซับซ้อนและมักไม่เสถียร ตามวิธีการ RLHF กำหนดให้คุณต้องฝึกโมเดลการให้รางวัลที่สะท้อนถึงความชอบของมนุษย์ก่อน จากนั้น จะต้องปรับแต่ง LLM อย่างละเอียดเพื่อเพิ่มรางวัลโดยประมาณของโมเดลรางวัลให้ได้สูงสุด โดยไม่เบี่ยงเบนไปจากโมเดลดั้งเดิมมากเกินไป ในโพสต์นี้ เราจะสาธิตวิธีปรับแต่งโมเดลพื้นฐานด้วย RLHF บน Amazon SageMaker นอกจากนี้เรายังแสดงให้คุณเห็นถึงวิธีการประเมินโดยมนุษย์เพื่อระบุปริมาณการปรับปรุงของแบบจำลองผลลัพธ์

เบื้องต้น

ก่อนที่คุณจะเริ่มต้น ตรวจสอบให้แน่ใจว่าคุณเข้าใจวิธีใช้แหล่งข้อมูลต่อไปนี้:

ภาพรวมโซลูชัน

แอปพลิเคชัน Generative AI จำนวนมากเริ่มต้นด้วย LLM พื้นฐาน เช่น GPT-3 ซึ่งได้รับการฝึกฝนเกี่ยวกับข้อมูลข้อความจำนวนมหาศาล และโดยทั่วไปพร้อมให้บริการแก่สาธารณะ ตามค่าเริ่มต้น LLM พื้นฐานมีแนวโน้มที่จะสร้างข้อความในลักษณะที่ไม่สามารถคาดเดาได้และบางครั้งก็เป็นอันตรายอันเป็นผลมาจากการไม่ทราบวิธีปฏิบัติตามคำแนะนำ ตัวอย่างเช่น เมื่อได้รับข้อความแจ้งว่า “เขียนอีเมลถึงพ่อแม่ของฉันเพื่ออวยพรวันครบรอบให้พวกเขา”โมเดลพื้นฐานอาจสร้างการตอบสนองที่คล้ายกับการเติมข้อความอัตโนมัติของพรอมต์ (เช่น “และรักกันอีกหลายปี”) แทนที่จะปฏิบัติตามคำแนะนำที่ชัดเจน (เช่น อีเมลที่เป็นลายลักษณ์อักษร) สิ่งนี้เกิดขึ้นเนื่องจากแบบจำลองได้รับการฝึกฝนให้ทำนายโทเค็นถัดไป เพื่อปรับปรุงความสามารถในการปฏิบัติตามคำสั่งของโมเดลพื้นฐาน ผู้อธิบายข้อมูลที่เป็นมนุษย์จะได้รับมอบหมายให้เขียนการตอบสนองต่อพร้อมท์ต่างๆ การตอบสนองที่รวบรวมไว้ (มักเรียกว่าข้อมูลสาธิต) ถูกใช้ในกระบวนการที่เรียกว่า supervised fine-tuning (SFT) RLHF ปรับปรุงและจัดแนวพฤติกรรมของโมเดลให้สอดคล้องกับความชอบของมนุษย์เพิ่มเติม ในบล็อกโพสต์นี้ เราขอให้ผู้อธิบายประกอบจัดอันดับเอาต์พุตของโมเดลตามพารามิเตอร์เฉพาะ เช่น ความช่วยเหลือ ความจริง และไม่เป็นอันตราย ข้อมูลการตั้งค่าผลลัพธ์จะถูกนำมาใช้ในการฝึกโมเดลรางวัล ซึ่งในทางกลับกันจะถูกใช้โดยอัลกอริธึมการเรียนรู้แบบเสริมที่เรียกว่า Proximal Policy Optimization (PPO) เพื่อฝึกโมเดลที่ได้รับการปรับแต่งอย่างละเอียดภายใต้การดูแล โมเดลการให้รางวัลและการเรียนรู้แบบเสริมกำลังถูกนำมาใช้ซ้ำๆ กับการตอบรับจากคนในวง

ไดอะแกรมต่อไปนี้แสดงสถาปัตยกรรมนี้

ในบล็อกโพสต์นี้ เราแสดงให้เห็นว่า RLHF สามารถดำเนินการบน Amazon SageMaker ได้อย่างไรโดยทำการทดลองกับโอเพ่นซอร์สยอดนิยม RLHF ซื้อคืน Trlx. จากการทดลองของเรา เราแสดงให้เห็นว่า RLHF สามารถใช้เพื่อเพิ่มความช่วยเหลือหรือไม่เป็นอันตรายของแบบจำลองภาษาขนาดใหญ่โดยใช้ที่เปิดเผยต่อสาธารณะได้อย่างไร ชุดข้อมูลความช่วยเหลือและไม่เป็นอันตราย (HH) จัดทำโดยมานุษยวิทยา เราใช้ชุดข้อมูลนี้เพื่อทำการทดลองด้วย สมุดบันทึก Amazon SageMaker Studio ที่กำลังดำเนินการอยู่บน ml.p4d.24xlarge ตัวอย่าง. ในที่สุดเราก็จัดให้มี สมุดบันทึก Jupyter เพื่อจำลองการทดลองของเรา

ทำตามขั้นตอนต่อไปนี้ในโน้ตบุ๊กเพื่อดาวน์โหลดและติดตั้งข้อกำหนดเบื้องต้น:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

นำเข้าข้อมูลสาธิต

ขั้นตอนแรกใน RLHF เกี่ยวข้องกับการรวบรวมข้อมูลสาธิตเพื่อปรับแต่ง LLM พื้นฐาน เพื่อวัตถุประสงค์ของโพสต์บนบล็อกนี้ เรากำลังใช้ข้อมูลสาธิตในชุดข้อมูล HH ตามที่รายงานไว้ข้างต้น เราสามารถโหลดข้อมูลสาธิตได้โดยตรงจากแพ็คเกจชุดข้อมูล Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

ดูแลการปรับแต่งฐาน LLM อย่างละเอียด

ขั้นตอนต่อไปคือดำเนินการปรับแต่ง LLM ฐานแบบละเอียดภายใต้การดูแล ในบล็อกโพสต์นี้ เราเรียกโมเดลพื้นฐานที่ได้รับการปรับแต่งอย่างละเอียดโดยมีผู้ดูแลเรียกง่ายๆ ว่า "โมเดล SFT" จำเป็นต้องมีการปรับแต่งอย่างละเอียดภายใต้การดูแลเพื่อเรียนรู้จากข้อมูลสาธิต เพื่อให้ LLM ทำงานได้ดีในงานสนทนาของเรา และเรียนรู้ที่จะช่วยเหลือและไม่เป็นอันตราย ในโพสต์นี้เราใช้ข้อมูลที่เปิดเผยต่อสาธารณะ EleutherAI/gpt-j-6b โมเดลโฮสต์บน Hugging Face นอกจากนี้เรายังใช้เฟรมเวิร์ก Trlx ที่ให้โค้ดสำหรับการปรับแต่งโมเดลนี้โดยมีการควบคุมดูแล

รันคำสั่งต่อไปนี้เพื่อเริ่มการฝึก:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

นำเข้าข้อมูลการตั้งค่า

ดังที่แสดงในแผนภาพก่อนหน้านี้ ขั้นตอนที่สำคัญใน RLHF เกี่ยวข้องกับการรับข้อมูลการตั้งค่า ข้อมูลการตั้งค่าคือชุดของตัวอย่างที่แสดงให้เห็นว่ามนุษย์ชอบเอาต์พุตของเครื่องหนึ่งมากกว่าอีกเครื่องหนึ่งอย่างไร โดยพิจารณาจากเกณฑ์การช่วยเหลือและความไม่เป็นอันตราย

ตารางต่อไปนี้แสดงแนวคิดของการกำหนดลักษณะ:

ฝึกฝนโมเดลรางวัลของคุณ

รูปแบบการให้รางวัลของเราขึ้นอยู่กับ GPT-J-6B และได้รับการปรับแต่งอย่างละเอียดในชุดข้อมูล HH ที่กล่าวถึงก่อนหน้านี้ เนื่องจากการฝึกโมเดลรางวัลไม่ใช่จุดเน้นของโพสต์นี้ เราจะใช้โมเดลรางวัลที่ได้รับการฝึกล่วงหน้าที่ระบุไว้ใน repo ของ Trlx Dahoas/gptj-rm-static. หากคุณต้องการฝึกโมเดลรางวัลของคุณเอง โปรดดูที่ ไลบรารี autocrit บน GitHub.

การฝึกอบรม RLHF

ตอนนี้เราได้รับส่วนประกอบที่จำเป็นทั้งหมดสำหรับการฝึกอบรม RLHF (เช่น โมเดล SFT และโมเดลการให้รางวัล) ตอนนี้เราสามารถเริ่มปรับนโยบายให้เหมาะสมโดยใช้ RLHF ได้แล้ว

ในการดำเนินการนี้ เราได้แก้ไขเส้นทางไปยังโมเดล SFT examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

จากนั้นเรารันคำสั่งการฝึกอบรม:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

สคริปต์เริ่มต้นโมเดล SFT โดยใช้น้ำหนักปัจจุบัน จากนั้นปรับให้เหมาะสมภายใต้การแนะนำของโมเดลรางวัล เพื่อให้โมเดลที่ได้รับการฝึก RLHF ที่ได้นั้นสอดคล้องกับความชอบของมนุษย์ แผนภาพต่อไปนี้แสดงคะแนนรางวัลของเอาต์พุตแบบจำลองในขณะที่การฝึกอบรม RLHF ดำเนินไป การฝึกเสริมกำลังมีความผันผวนสูง ดังนั้นเส้นโค้งจึงผันผวน แต่แนวโน้มโดยรวมของรางวัลจะเพิ่มขึ้น ซึ่งหมายความว่าผลลัพธ์ของแบบจำลองจะสอดคล้องกับความชอบของมนุษย์มากขึ้นเรื่อยๆ ตามแบบจำลองรางวัล โดยรวมแล้ว รางวัลจะปรับปรุงจาก -3.42e-1 ในการทำซ้ำครั้งที่ 0 เป็นค่าสูงสุดที่ -9.869e-3 ในการทำซ้ำครั้งที่ 3000

แผนภาพต่อไปนี้แสดงเส้นโค้งตัวอย่างเมื่อรัน RLHF

การประเมินของมนุษย์

หลังจากปรับแต่งโมเดล SFT ของเราด้วย RLHF อย่างละเอียดแล้ว ตอนนี้เราตั้งเป้าที่จะประเมินผลกระทบของกระบวนการปรับแต่งอย่างละเอียด เนื่องจากเกี่ยวข้องกับเป้าหมายที่กว้างขึ้นของเราในการสร้างการตอบสนองที่เป็นประโยชน์และไม่เป็นอันตราย เพื่อสนับสนุนเป้าหมายนี้ เราจะเปรียบเทียบการตอบสนองที่สร้างโดยโมเดลที่ปรับแต่งด้วย RLHF กับการตอบสนองที่สร้างโดยโมเดล SFT เราทดลองด้วยพรอมต์ 100 รายการที่ได้มาจากชุดทดสอบของชุดข้อมูล HH เราส่งผ่านแต่ละพร้อมต์โดยทางโปรแกรมผ่านทั้ง SFT และโมเดล RLHF ที่ปรับแต่งอย่างละเอียดเพื่อรับการตอบกลับสองรายการ สุดท้ายนี้ เราขอให้ผู้อธิบายที่เป็นมนุษย์เลือกคำตอบที่ต้องการโดยพิจารณาจากการรับรู้ว่ามีประโยชน์และไม่เป็นอันตราย

แนวทางการประเมินมนุษย์ถูกกำหนด เปิดตัว และจัดการโดย Amazon SageMaker Ground Truth Plus บริการติดฉลาก SageMaker Ground Truth Plus ช่วยให้ลูกค้าเตรียมชุดข้อมูลการฝึกอบรมขนาดใหญ่คุณภาพสูง เพื่อปรับแต่งโมเดลพื้นฐานเพื่อทำงาน AI ที่สร้างเหมือนมนุษย์ได้ นอกจากนี้ยังช่วยให้มนุษย์ที่มีทักษะสามารถตรวจสอบผลลัพธ์ของแบบจำลองเพื่อให้สอดคล้องกับความต้องการของมนุษย์ นอกจากนี้ยังช่วยให้ผู้สร้างแอปพลิเคชันสามารถปรับแต่งโมเดลโดยใช้ข้อมูลอุตสาหกรรมหรือบริษัทของตนในขณะเตรียมชุดข้อมูลการฝึกอบรม ดังที่แสดงในโพสต์บล็อกก่อนหน้า (“ความคิดเห็นของมนุษย์คุณภาพสูงสำหรับแอปพลิเคชัน AI เชิงสร้างสรรค์ของคุณจาก Amazon SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus มอบเวิร์กโฟลว์ อินเทอร์เฟซการติดป้ายกำกับ และบุคลากรที่มีทักษะในการสร้างข้อมูลคำติชมของมนุษย์คุณภาพสูงเพื่อทำงานเหล่านี้ให้สำเร็จในบริการแบบครบวงจรที่มีการจัดการเต็มรูปแบบในนามของลูกค้า เราใช้อินเทอร์เฟซงานที่คล้ายกับ UI ที่แสดงด้านล่างเพื่ออำนวยความสะดวกในขั้นตอนการประเมินโดยมนุษย์ในการทดสอบของเรา

เราสรุปการทดลองประเมินแบบจำลองของเราโดยพิจารณาว่าโมเดลใดในทั้งสองโมเดล – SFT หรือ RLHF – ที่สร้างคำตอบที่ต้องการบ่อยกว่า สำหรับพรอมต์และการตอบสนอง 84 รายการจาก 100 รายการที่ได้รับการประเมิน เราสังเกตว่าการตอบสนองจากแบบจำลองที่ปรับแต่งอย่างละเอียดด้วย RLHF อย่างน้อยก็ดีพอๆ กับหรือมากกว่าที่ต้องการมากกว่าที่สร้างขึ้นโดยแบบจำลองที่ปรับแต่งอย่างละเอียดด้วย SFT (แบบจำลองที่ผ่านการฝึกอบรม RLHF คือ เด่นกว่า 30 ครั้ง เสมอกัน 54 ครั้ง) ดังที่แสดงในตารางด้านล่าง การเปรียบเทียบเชิงคุณภาพของการตอบสนองของแบบจำลองจะให้หลักฐานสนับสนุนที่แสดงให้เห็นว่าแบบจำลอง RLHF มีแนวโน้มที่จะมีประโยชน์และถูกต้องตามข้อเท็จจริงมากกว่าแบบจำลอง SFT อย่างไร เมื่อนำมารวมกัน การทดลองของเราเสนอแนะว่าในความเป็นจริงแล้ว RLHF ปรับปรุงความสามารถของแบบจำลองในการสร้างผลลัพธ์ที่สอดคล้องกับคุณค่าที่น่าสนใจมากขึ้น

การประเมินความเป็นพิษ

ในการหาปริมาณว่า RLHF ลดความเป็นพิษในรุ่นของแบบจำลองได้อย่างไร เราได้เปรียบเทียบจากรุ่นยอดนิยม ชุดทดสอบ RealToxicityPrompt และวัดความเป็นพิษในระดับต่อเนื่องตั้งแต่ 0 (ไม่เป็นพิษ) ถึง 1 (เป็นพิษ) เราสุ่มเลือกกรณีทดสอบ 1,000 กรณีจากชุดการทดสอบ RealToxicityPrompt และเปรียบเทียบความเป็นพิษของเอาต์พุตแบบจำลอง SFT และ RLHF จากการประเมินของเรา เราพบว่าแบบจำลอง RLHF มีความเป็นพิษต่ำกว่า (โดยเฉลี่ย 0.129) มากกว่าแบบจำลอง SFT (โดยเฉลี่ย 0.134) ซึ่งแสดงให้เห็นถึงประสิทธิผลของเทคนิค RLHF ในการลดอันตรายของเอาต์พุต

ทำความสะอาด

เมื่อดำเนินการเสร็จแล้ว คุณควรลบทรัพยากรระบบคลาวด์ที่คุณสร้างขึ้นเพื่อหลีกเลี่ยงการเสียค่าธรรมเนียมเพิ่มเติม หากคุณเลือกที่จะจำลองการทดลองนี้ใน SageMaker Notebook คุณจะต้องหยุดอินสแตนซ์สมุดบันทึกที่คุณใช้อยู่เท่านั้น สำหรับข้อมูลเพิ่มเติม โปรดดูเอกสารประกอบของคู่มือนักพัฒนา AWS Sagemaker เรื่อง “ทำความสะอาดขึ้น"

สรุป

ในโพสต์นี้ เราได้แสดงวิธีฝึกโมเดลพื้นฐาน GPT-J-6B ด้วย RLHF บน Amazon SageMaker เราได้จัดเตรียมโค้ดที่อธิบายวิธีปรับแต่งโมเดลพื้นฐานด้วยการฝึกอบรมแบบมีผู้ดูแล ฝึกอบรมโมเดลรางวัล และการฝึกอบรม RL ด้วยข้อมูลอ้างอิงของมนุษย์ เราแสดงให้เห็นว่าโมเดลที่ได้รับการฝึก RLHF นั้นเป็นที่ต้องการของนักอธิบายประกอบ ตอนนี้คุณสามารถสร้างโมเดลอันทรงพลังที่ปรับแต่งให้เหมาะกับแอปพลิเคชันของคุณได้แล้ว

หากคุณต้องการข้อมูลการฝึกคุณภาพสูงสำหรับโมเดลของคุณ เช่น ข้อมูลสาธิตหรือข้อมูลการตั้งค่า Amazon SageMaker ช่วยคุณได้ โดยการขจัดการยกของหนักที่ไม่แตกต่างที่เกี่ยวข้องกับแอปพลิเคชันการติดฉลากข้อมูลอาคาร และการจัดการพนักงานการติดฉลาก เมื่อคุณมีข้อมูลแล้ว ให้ใช้เว็บอินเทอร์เฟซ SageMaker Studio Notebook หรือสมุดบันทึกที่ให้มาในพื้นที่เก็บข้อมูล GitHub เพื่อรับโมเดลที่ได้รับการฝึกอบรม RLHF ของคุณ

เกี่ยวกับผู้เขียน

เว่ยเฟิง เฉิน เป็นนักวิทยาศาสตร์ประยุกต์ในทีมวิทยาศาสตร์ Human-in-the-loop ของ AWS เขาพัฒนาโซลูชันการติดฉลากโดยใช้เครื่องช่วยเพื่อช่วยให้ลูกค้าได้รับความรวดเร็วขั้นสุดยอดในการรับความจริงที่ขยายครอบคลุมโดเมนคอมพิวเตอร์วิทัศน์ การประมวลผลภาษาธรรมชาติ และเจนเนอเรชั่น AI

เออร์รัน หลี่ เป็นผู้จัดการวิทยาศาสตร์ประยุกต์ที่บริการแบบ humain-in-the-loop, AWS AI, Amazon งานวิจัยที่เขาสนใจคือการเรียนรู้เชิงลึก 3 มิติ และการเรียนรู้การมองเห็นและการนำเสนอภาษา ก่อนหน้านี้เขาเป็นนักวิทยาศาสตร์อาวุโสที่ Alexa AI หัวหน้าฝ่ายการเรียนรู้ของเครื่องที่ Scale AI และหัวหน้านักวิทยาศาสตร์ที่ Pony.ai ก่อนหน้านั้น เขาอยู่กับทีมการรับรู้ที่ Uber ATG และทีมแพลตฟอร์มการเรียนรู้ของเครื่องที่ Uber ที่ทำงานเกี่ยวกับการเรียนรู้ของเครื่องสำหรับการขับขี่อัตโนมัติ ระบบการเรียนรู้ของเครื่อง และความคิดริเริ่มเชิงกลยุทธ์ของ AI เขาเริ่มต้นอาชีพที่ Bell Labs และเป็นผู้ช่วยศาสตราจารย์ที่มหาวิทยาลัยโคลัมเบีย เขาร่วมสอนการสอนที่ ICML'17 และ ICCV'19 และร่วมจัดเวิร์กช็อปหลายแห่งที่ NeurIPS, ICML, CVPR, ICCV เกี่ยวกับการเรียนรู้ของเครื่องสำหรับการขับขี่อัตโนมัติ การมองเห็น 3 มิติและหุ่นยนต์ ระบบการเรียนรู้ของเครื่องจักร และการเรียนรู้ของเครื่องที่ขัดแย้งกัน เขาสำเร็จการศึกษาระดับปริญญาเอกสาขาวิทยาการคอมพิวเตอร์จาก Cornell University เขาเป็น ACM Fellow และ IEEE Fellow

คูชิก กัลยานารามาน เป็นวิศวกรพัฒนาซอฟต์แวร์ในทีมวิทยาศาสตร์ Human-in-the-loop ที่ AWS ในเวลาว่าง เขาเล่นบาสเก็ตบอลและใช้เวลากับครอบครัว

เซี่ยงโจว เป็นนักวิทยาศาสตร์ประยุกต์อาวุโสที่ AWS เขาเป็นผู้นำทีมวิทยาศาสตร์ด้านความสามารถเชิงพื้นที่ของ Amazon SageMaker งานวิจัยในปัจจุบันของเขา ได้แก่ คอมพิวเตอร์วิทัศน์และการฝึกอบรมโมเดลที่มีประสิทธิภาพ ในเวลาว่าง เขาสนุกกับการวิ่ง เล่นบาสเก็ตบอล และใช้เวลาอยู่กับครอบครัว

อเล็กซ์ วิลเลียมส์ เป็นนักวิทยาศาสตร์ประยุกต์ที่ AWS AI ซึ่งเขาทำงานเกี่ยวกับปัญหาที่เกี่ยวข้องกับระบบอัจฉริยะเชิงโต้ตอบของเครื่องจักร ก่อนที่จะมาร่วมงานกับ Amazon เขาเป็นศาสตราจารย์ในภาควิชาวิศวกรรมไฟฟ้าและวิทยาการคอมพิวเตอร์ที่มหาวิทยาลัยเทนเนสซี เขายังดำรงตำแหน่งวิจัยที่ Microsoft Research, Mozilla Research และ University of Oxford อีกด้วย เขาสำเร็จการศึกษาระดับปริญญาเอกสาขาวิทยาการคอมพิวเตอร์จากมหาวิทยาลัยวอเตอร์ลู

Ammaร ชินอย เป็นผู้จัดการทั่วไป/ผู้อำนวยการฝ่ายบริการ AWS Human-In-The-Loop ในเวลาว่าง เขาเรียนรู้การเสริมพลังเชิงบวกกับสุนัขสามตัวของเขา ได้แก่ วาฟเฟิล วิดเจ็ต และวอล์คเกอร์

• เนื้อหาที่ขับเคลื่อนด้วย SEO และการเผยแพร่ประชาสัมพันธ์ รับการขยายวันนี้
• PlatoData.Network Vertical Generative Ai เพิ่มพลังให้กับตัวเอง เข้าถึงได้ที่นี่.
• เพลโตไอสตรีม. Web3 อัจฉริยะ ขยายความรู้ เข้าถึงได้ที่นี่.
• เพลโตESG. คาร์บอน, คลีนเทค, พลังงาน, สิ่งแวดล้อม แสงอาทิตย์, การจัดการของเสีย. เข้าถึงได้ที่นี่.
• เพลโตสุขภาพ เทคโนโลยีชีวภาพและข่าวกรองการทดลองทางคลินิก เข้าถึงได้ที่นี่.
• ที่มา: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/