שיפור הלימודי LLM שלך עם RLHF באמזון SageMaker | שירותי האינטרנט של אמזון

חיזוק למידה ממשוב אנושי (RLHF) מוכרת כטכניקה הסטנדרטית בתעשייה להבטחת מודלים של שפות גדולות (LLMs) מייצרות תוכן אמיתי, לא מזיק ומועיל. הטכניקה פועלת על ידי הכשרת "מודל תגמול" המבוסס על משוב אנושי ומשתמשת במודל זה כפונקציית תגמול כדי לייעל את מדיניות הסוכן באמצעות למידת חיזוק (RL). RLHF הוכח כחיוני להפקת לימודי LLM כגון ChatGPT של OpenAI וקלוד של Anthropic שמתואמים למטרות אנושיות. חלפו הימים שבהם אתה צריך הנדסה מהירה לא טבעית כדי להשיג דגמי בסיס, כגון GPT-3, כדי לפתור את המשימות שלך.

אזהרה חשובה של RLHF היא שמדובר בהליך מורכב ולעתים קרובות לא יציב. כשיטה, RLHF דורשת תחילה להכשיר מודל תגמול המשקף העדפות אנושיות. לאחר מכן, יש לכוונן את ה-LLM כדי למקסם את התגמול המשוער של מודל התגמול מבלי להיסחף רחוק מדי מהדגם המקורי. בפוסט זה, נדגים כיצד לכוונן דגם בסיס עם RLHF באמזון SageMaker. אנו גם מראים לך כיצד לבצע הערכה אנושית כדי לכמת את השיפורים של המודל המתקבל.

תנאים מוקדמים

לפני שתתחיל, ודא שאתה מבין כיצד להשתמש במשאבים הבאים:

סקירת פתרונות

יישומי בינה מלאכותית גנרטיבית רבים מופעלים עם LLMs בסיסיים, כגון GPT-3, שהוכשרו על כמויות אדירות של נתוני טקסט וזמינים בדרך כלל לציבור. LLMs בסיסיים, כברירת מחדל, נוטים ליצור טקסט בצורה בלתי צפויה ולעיתים מזיקה כתוצאה מאי ידיעה כיצד לבצע הוראות. לדוגמה, בהינתן ההנחיה, "כתוב מייל להורים שלי שמאחל להם יום נישואין שמח", מודל בסיס עשוי ליצור תגובה הדומה להשלמה האוטומטית של ההנחיה (למשל "ועוד שנים רבות של אהבה ביחד") במקום לבצע את ההנחיה כהוראה מפורשת (למשל הודעת דוא"ל כתובה). זה קורה מכיוון שהמודל מאומן לחזות את האסימון הבא. כדי לשפר את יכולת מעקב ההוראות של המודל הבסיסי, על מחברי נתונים אנושיים מוטלת המשימה לכתוב תגובות להנחיות שונות. התגובות שנאספו (המכונה לעתים קרובות נתוני הדגמה) משמשות בתהליך שנקרא כוונון עדין מפוקח (SFT). RLHF משכלל ומיישר את התנהגות המודל עם העדפות האדם. בפוסט זה בבלוג, אנו מבקשים מהמגיבים לדרג את תפוקות המודל על סמך פרמטרים ספציפיים, כגון מועילות, אמיתות וחוסר מזיק. נתוני ההעדפות המתקבלים משמשים לאימון מודל תגמול אשר בתורו משמש על ידי אלגוריתם למידת חיזוק הנקרא Proximal Policy Optimization (PPO) כדי להכשיר את המודל המכוונן עדין בפיקוח. מודלים של תגמול ולמידת חיזוק מיושמים באופן איטרטיבי עם משוב אנושי בלולאה.

התרשים הבא ממחיש ארכיטקטורה זו.

בפוסט זה בבלוג, אנו מדגים כיצד ניתן לבצע RLHF באמזון SageMaker על ידי עריכת ניסוי עם הקוד הפתוח הפופולרי RLHF repo Trlx. באמצעות הניסוי שלנו, אנו מדגימים כיצד ניתן להשתמש ב-RLHF כדי להגביר את המועילות או חוסר המזיקות של מודל שפה גדול באמצעות הזמין לציבור מערך נתונים של שימושיות וחוסר מזיק (HH). מסופק על ידי אנתרופיק. באמצעות מערך נתונים זה, אנו עורכים את הניסוי שלנו עם מחברת אמזון SageMaker Studio שפועל על א ml.p4d.24xlarge למשל. לבסוף, אנו מספקים א מחברת צדק לשכפל את הניסויים שלנו.

השלם את השלבים הבאים במחברת כדי להוריד ולהתקין את הדרישות המוקדמות:

git clone https://github.com/CarperAI/trlx.git
cd trlx
pip install torch==2.0.0 --extra-index-url https://download.pytorch.org/whl/cu116 # for cuda
pip install -e .

ייבוא ​​נתוני הדגמה

השלב הראשון ב-RLHF כולל איסוף נתוני הדגמה כדי לכוונן עדין LLM בסיסי. לצורך פוסט זה בבלוג, אנו משתמשים בנתוני הדגמה במערך הנתונים של HH כפי שדווח לעיל. אנחנו יכולים לטעון את נתוני ההדגמה ישירות מחבילת הנתונים של Hugging Face:

from datasets import load_dataset
dataset = load_dataset("Dahoas/rm-static")

כוונון עדין מפוקח של LLM בסיס

השלב הבא הוא לבצע כוונון עדין מפוקח של LLM בסיס. בפוסט זה בבלוג, אנו מתייחסים למודל הבסיס שעבר כוונון עדין בפיקוח פשוט כ"מודל SFT". נדרש כוונון עדין בפיקוח כדי ללמוד מנתוני הדגמה, כך ש-LLM יצליח במשימת השיחה שלנו וילמד להיות מועיל ולא מזיק. בפוסט זה, אנו משתמשים בזמין לציבור EleutherAI/gpt-j-6b דוגמנית מתארחת ב-Huging Face. אנו משתמשים גם במסגרת Trlx המספקת קוד לכוונון עדין מפוקח של מודל זה.

הפעל את הפקודות הבאות כדי להתחיל באימון:

cd examples/hh
accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml sft_hh.py

ייבוא ​​נתוני העדפות

כפי שמוצג בתרשים הקודם, שלב קריטי ב-RLHF כרוך ברכישת נתוני העדפות. נתוני העדפות הם אוסף של דוגמאות המדגימות כיצד אדם מעדיף פלט מכונה אחד על פני אחר על סמך קריטריונים של מועילות וחוסר מזיק.

הטבלה הבאה מציגה את מושג ההעדפה:

אמן את מודל התגמול שלך

מודל התגמול שלנו מבוסס על GPT-J-6B ומכוונן עדין על מערך הנתונים של HH שהוזכר קודם לכן. מכיוון שאימון מודל התגמול אינו המוקד של פוסט זה, אנו נשתמש במודל תגמול מאומן מראש המצוין ב-Trlx repo, ה- Dahoas/gptj-rm-static. אם אתה רוצה לאמן את מודל התגמול שלך, אנא עיין ב- ספריית autocrit ב- GitHub.

אימון RLHF

כעת, לאחר שרכשנו את כל הרכיבים הנדרשים לאימון RLHF (כלומר, מודל SFT ומודל תגמול), אנו יכולים כעת להתחיל לייעל את המדיניות באמצעות RLHF.

לשם כך, אנו משנים את הנתיב למודל SFT ב examples/hh/ppo_hh.py:

elif config_name == "6B": ... default_config.model.model_path = PATH_TO_THE_SFT_MODEL_IN_THE_PREVIOUS_STEP ...

לאחר מכן אנו מפעילים את פקודות האימון:

cd examples/hh CONFIG_NAME=6B accelerate launch --num_processes 7 --config_file ../../configs/accelerate/zero2-bf16.yaml ppo_hh.py

התסריט יוזם את מודל ה-SFT תוך שימוש במשקלים הנוכחיים שלו ולאחר מכן מייעל אותם בהנחיית מודל תגמול, כך שהמודל המאומן ב-RLHF יתיישר עם ההעדפה האנושית. התרשים הבא מציג את ציוני התגמול של תפוקות המודל עם התקדמות אימון ה-RLHF. אימון חיזוקים הוא תנודתי מאוד, כך שהעקומה משתנה, אך המגמה הכוללת של התגמול היא כלפי מעלה, כלומר תפוקת המודל הולכת ומתואמת להעדפות האדם על פי מודל התגמול. בסך הכל, התגמול משתפר מ-3.42e-1 באיטרציה ה-0 לערך הגבוה ביותר של -9.869e-3 באיטרציה ה-3000.

התרשים הבא מציג עקומת דוגמה בעת הפעלת RLHF.

הערכה אנושית

לאחר כוונון עדין של מודל ה-SFT שלנו עם RLHF, אנו שואפים כעת להעריך את ההשפעה של תהליך הכוונון המתייחס למטרה הרחבה יותר שלנו לייצר תגובות מועילות ולא מזיקות. לתמיכה במטרה זו, אנו משווים את התגובות שנוצרו על ידי המודל המכוונן היטב עם RLHF לתגובות שנוצרו על ידי מודל SFT. אנו מתנסים עם 100 הנחיות שנגזרות ממערך הבדיקה של מערך הנתונים של HH. אנו מעבירים כל הנחיה באופן פרוגרמטי גם דרך ה-SFT וגם דרך מודל ה-RLHF המכוונן עדין כדי לקבל שתי תגובות. לבסוף, אנו מבקשים מכותבים אנושיים לבחור את התגובה המועדפת על סמך מועילות וחוסר מזיק הנתפסים.

גישת ההערכה האנושית מוגדרת, מושקת ומנוהלת על ידי Amazon SageMaker Ground Truth Plus שירות תיוג. SageMaker Ground Truth Plus מאפשר ללקוחות להכין מערכי אימון באיכות גבוהה ובקנה מידה גדול כדי לכוונן מודלים בסיסיים לביצוע משימות בינה מלאכותית דמויות אדם. זה גם מאפשר לבני אדם מיומנים לסקור את פלטי המודל כדי להתאים אותם להעדפות אנושיות. בנוסף, זה מאפשר לבוני יישומים להתאים אישית מודלים תוך שימוש בנתוני התעשייה או החברה שלהם תוך הכנת מערכי נתונים להדרכה. כפי שהוצג בפוסט הקודם בבלוג ("משוב אנושי באיכות גבוהה עבור יישומי הבינה המלאכותית הגנרטיבית שלך מאמזון SageMaker Ground Truth Plus”), SageMaker Ground Truth Plus מספקת זרימות עבודה, ממשקי תיוג וכוח עבודה מיומן ליצירת נתוני משוב אנושי באיכות גבוהה כדי לבצע משימות אלו בשירות סוהר ומנוהל במלואו בשם הלקוח. אנו משתמשים בממשק משימות דומה לממשק המשתמש המוצג להלן כדי להקל על שלב ההערכה האנושית של הניסוי שלנו.

אנו מסיימים את ניסוי הערכת המודל שלנו בקביעה איזה משני המודלים - SFT או RLHF - יצרו תגובות שהיו מועדפות בתדירות גבוהה יותר. עבור 84 מתוך 100 ההנחיות והתגובות שנבדקו, אנו רואים שהתגובות מהמודל המכוונן עדין עם RLHF הן לפחות טובות או מועדפות יותר מאלו שנוצרו על ידי המודל המכוונן עם SFT (מודל מאומן RLHF הוא מועדף יותר 30 פעמים, שוויון 54 פעמים). כפי שמוצג בטבלה שלהלן, השוואה איכותית של תגובות המודל מספקת ראיות תומכות הממחישות כיצד מודל RLHF נוטה להיות מועיל ונכון יותר מבחינה עובדתית מאשר מודל SFT. בהתחשב כקולקטיב, הניסוי שלנו מצביע על כך ש-RLHF, למעשה, משפר את יכולתו של המודל לייצר פלט המותאם טוב יותר עם ערכי העניין.

הערכת רעילות

כדי לכמת כיצד RLHF מפחית רעילות בדורות המודל, אנו מבססים את הפופולרי ערכת בדיקות RealToxicityPrompt ולמדוד רעילות בסולם רציף מ-0 (לא רעיל) ל-1 (רעיל). אנו בוחרים באקראי 1,000 מקרי בדיקה מתוך ערכת הבדיקות של RealToxicityPrompt ומשווים את הרעילות של פלטי מודל SFT ו-RLHF. באמצעות ההערכה שלנו, אנו מוצאים שמודל RLHF משיג רעילות נמוכה יותר (0.129 בממוצע) מאשר מודל SFT (0.134 בממוצע), אשר מדגים את היעילות של טכניקת RLHF בהפחתת מזיקות הפלט.

לנקות את

לאחר שתסיים, עליך למחוק את משאבי הענן שיצרת כדי להימנע מחיובים נוספים. אם בחרת לשקף את הניסוי הזה במחברת SageMaker, אתה רק צריך לעצור את מופע המחברת שבו השתמשת. למידע נוסף, עיין בתיעוד של מדריך המפתחים של AWS Sagemaker בנושא "ניקוי".

סיכום

בפוסט זה, הראינו כיצד לאמן דגם בסיס, GPT-J-6B, עם RLHF באמזון SageMaker. סיפקנו קוד המסביר כיצד לכוונן את המודל הבסיסי עם אימון בפיקוח, לאמן את מודל התגמול והדרכה RL עם נתוני התייחסות אנושיים. הדגמנו כי המודל המאומן ב-RLHF מועדף על ידי הערים. כעת, אתה יכול ליצור מודלים רבי עוצמה המותאמים אישית ליישום שלך.

אם אתה זקוק לנתוני אימון באיכות גבוהה עבור הדגמים שלך, כגון נתוני הדגמה או נתוני העדפות, Amazon SageMaker יכול לעזור לך על ידי הסרת ההרמה הכבדה הבלתי מובחנת הקשורה לבניית יישומי תיוג נתונים וניהול כוח העבודה לתיוג. כאשר יש לך את הנתונים, השתמש בממשק האינטרנט של SageMaker Studio Notebook או במחברת המסופקת במאגר GitHub כדי לקבל את הדגם המאומן שלך ב-RLHF.

על הכותבים

ווייפנג צ'ן הוא מדען יישומי בצוות המדע של AWS Human-in-the-loop. הוא מפתח פתרונות תיוג בסיוע מכונה כדי לעזור ללקוחות להשיג מהירות דרסטית ברכישת אמת-קרקע המשתרעת על תחום ה-Computer Vision, Natural Language Processing ו-AI Generative.

ארן לי הוא מנהל המדע היישומי ב-humain-in-the-loop services, AWS AI, Amazon. תחומי העניין שלו במחקר הם למידה עמוקה בתלת מימד, ולמידת חזון וייצוג שפה. בעבר הוא היה מדען בכיר ב-Alexa AI, ראש תחום למידת מכונה ב-Scale AI והמדען הראשי ב-Pony.ai. לפני כן, הוא היה עם צוות התפיסה של Uber ATG וצוות פלטפורמת למידת המכונה ב-Uber ועבד על למידת מכונה לנהיגה אוטונומית, מערכות למידת מכונה ויוזמות אסטרטגיות של AI. הוא התחיל את הקריירה שלו ב-Bell Labs והיה פרופסור עזר באוניברסיטת קולומביה. הוא לימד מדריכים ב-ICML'3 ו-ICCV'17, וארגן כמה סדנאות ב-NurIPS, ICML, CVPR, ICCV בנושא למידת מכונה לנהיגה אוטונומית, ראייה תלת-ממדית ורובוטיקה, מערכות למידת מכונה ולמידת מכונה אדוורסרית. יש לו דוקטורט במדעי המחשב באוניברסיטת קורנל. הוא עמית ACM ועמית IEEE.

קושיק קליאנארמאן הוא מהנדס פיתוח תוכנה בצוות המדע "אדם-בלולאה" ב-AWS. בזמנו הפנוי הוא משחק כדורסל ומבלה עם משפחתו.

שיונג ג'ואו הוא מדען יישומי בכיר ב-AWS. הוא מוביל את צוות המדע ליכולות גיאו-מרחביות של Amazon SageMaker. תחום המחקר הנוכחי שלו כולל ראייה ממוחשבת והכשרת מודלים יעילה. בזמנו הפנוי הוא נהנה לרוץ, לשחק כדורסל ולבלות עם משפחתו.

אלכס וויליאמס הוא מדען יישומי ב-AWS AI שם הוא עובד על בעיות הקשורות לאינטליגנציה של מכונות אינטראקטיביות. לפני שהצטרף לאמזון, הוא היה פרופסור במחלקה להנדסת חשמל ומדעי המחשב באוניברסיטת טנסי. הוא גם מילא תפקידי מחקר ב-Microsoft Research, Mozilla Research ואוניברסיטת אוקספורד. הוא בעל תואר דוקטור במדעי המחשב מאוניברסיטת ווטרלו.

אמהr Chinoy הוא המנהל הכללי/מנהל עבור שירותי AWS Human-In-The-Loop. בזמנו הפנוי, הוא עובד על למידת חיזוק חיובי עם שלושת הכלבים שלו: וופל, ווידג'ט ו-Wolker.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://aws.amazon.com/blogs/machine-learning/improving-your-llms-with-rlhf-on-amazon-sagemaker/