כמה טכניקות הנדסיות של Kick Ass מעודדות את דגמי ה-LLM שלנו - KDnuggets

תמונה נוצרה עם DALL-E3
 

בינה מלאכותית הייתה מהפכה שלמה בעולם הטכנולוגיה. 

היכולת שלו לחקות אינטליגנציה אנושית ולבצע משימות שבעבר נחשבו לתחומים אנושיים בלבד עדיין מדהימה את רובנו. 

עם זאת, לא משנה עד כמה קפיצת הבינה המלאכותית המאוחרת הייתה טובה, תמיד יש מקום לשיפור.

וכאן בדיוק נכנסת הנדסה מהירה!

היכנס לשדה זה שיכול לשפר משמעותית את הפרודוקטיביות של דגמי AI.

בואו לגלות הכל ביחד!

הנדסה מהירה היא תחום שצומח במהירות בתוך AI המתמקד בשיפור היעילות והאפקטיביות של מודלים של שפה. הכל עוסק ביצירת הנחיות מושלמות להנחות דגמי AI לייצר את התפוקות הרצויות שלנו.

תחשוב על זה כעל למידה כיצד לתת הוראות טובות יותר למישהו כדי להבטיח שהוא מבין ומבצע משימה נכונה. 

למה חשובה הנדסה מהירה

• פרודוקטיביות משופרת: על ידי שימוש בהנחיות באיכות גבוהה, מודלים של AI יכולים ליצור תגובות מדויקות ורלוונטיות יותר. המשמעות היא שפחות זמן מושקע בתיקונים ויותר זמן למינוף יכולות הבינה המלאכותית.
• יעילות מחיר: אימון מודלים של AI הוא עתיר משאבים. הנדסה מהירה יכולה להפחית את הצורך בהכשרה מחדש על ידי אופטימיזציה של ביצועי המודל באמצעות הנחיות טובות יותר.
• רבגוניות: הנחיה מעוצבת היטב יכולה להפוך את דגמי הבינה המלאכותית למגוון יותר, ולאפשר להם להתמודד עם מגוון רחב יותר של משימות ואתגרים.

לפני שנצלול לתוך הטכניקות המתקדמות ביותר, הבה נזכיר שתיים מהטכניקות ההנדסיות המהירות השימושיות (והבסיסיות) ביותר.

חשיבה רציפה עם "בואו נחשוב צעד אחר צעד"

היום ידוע היטב שהדיוק של דגמי LLM השתפר משמעותית כאשר מוסיפים את רצף המילים "בואו נחשוב צעד אחר צעד".

למה... אתם אולי שואלים?

ובכן, הסיבה לכך היא שאנו מאלצים את המודל לפרק כל משימה למספר שלבים, ובכך לוודא שלמודל יש מספיק זמן לעבד כל אחד מהם.

לדוגמה, אני יכול לקרוא תיגר על GPT3.5 עם ההנחיה הבאה:
 

אם לג'ון יש 5 אגסים, אז אוכל 2, קונה עוד 5, ואז נותן 3 לחבר שלו, כמה אגסים יש לו?

 

הדגם ייתן לי תשובה מיד. עם זאת, אם אוסיף את הסופי "בואו נחשוב צעד אחר צעד", אני מאלץ את המודל ליצור תהליך חשיבה עם מספר שלבים. 

מספר יריות

בעוד שההנחיה של Zero-shot מתייחסת לבקשת המודל לבצע משימה מבלי לספק שום הקשר או ידע קודם, טכניקת ההנחיה של מעט יריות מרמזת שאנו מציגים ל-LLM כמה דוגמאות של הפלט הרצוי שלנו יחד עם שאלה ספציפית. 

לדוגמה, אם ברצוננו להמציא מודל שמגדיר כל מונח באמצעות טון פואטי, זה עשוי להיות די קשה להסביר. ימין?

עם זאת, נוכל להשתמש בהנחיות המועטות הבאות כדי לכוון את הדגם לכיוון שאנו רוצים.

המשימה שלך היא לענות בסגנון עקבי המותאם לסגנון הבא.

: למד אותי על חוסן.

: חוסן הוא כמו עץ ​​שמתכופף עם הרוח אבל לעולם לא נשבר.

זוהי היכולת לחזור ממצוקה ולהמשיך להתקדם.

: הקלט שלך כאן.

אם עדיין לא ניסית את זה, אתה יכול ללכת לאתגר GPT. 

עם זאת, מכיוון שאני די בטוח שרובכם כבר מכירים את הטכניקות הבסיסיות הללו, אנסה לאתגר אתכם בכמה טכניקות מתקדמות.

1. שרשרת מחשבה (CoT) הנחיה

הוצג על ידי גוגל בשנת 2022, שיטה זו כוללת הנחיה של המודל לעבור מספר שלבי חשיבה לפני מתן התגובה האולטימטיבית. 

נשמע מוכר נכון? אם כן, אתה צודק לגמרי. 

זה כמו למזג גם חשיבה רציפה וגם הנחיה של כמה יריות. 

איך?

בעיקרו של דבר, הנחיה CoT מכוונת את ה-LLM לעבד מידע ברצף. משמעות הדבר היא שאנו מדגימים כיצד לפתור בעיה ראשונה באמצעות חשיבה מרובת שלבים ולאחר מכן שולחים למודל את המשימה האמיתית שלנו, ומצפים ממנו שיחקה שרשרת מחשבה דומה כאשר מגיבים לשאילתה בפועל שאנו רוצים שהוא יפתור.

 

תמונה נלקחה מה- מאמר. 
 

אז, בעקבות הדוגמה הראשונה, נוכל לספק הנחיה עם הבעיה הראשונה והסבר רציף כיצד לפתור אותה. לאחר מכן, נוכל לשלוח את הקלט שלנו ולראות איך הקסם קורה!

אם לג'ון יש 5 אגסים, אז אוכל 2, קונה עוד 5, ואז נותן 3 לחבר שלו, כמה אגסים יש לו? בואו נחשוב צעד אחר צעד.

בוא נלך צעד אחר צעד. ג'ון מתחיל עם 5 אגסים. הוא אוכל 2 אגסים, אז נשארו לו 5-2 = 3 אגסים. לאחר מכן, הוא קונה עוד 5 אגסים. אז עכשיו יש לו 3 + 5 = 8 אגסים. לבסוף, הוא נותן לחברו 3 אגסים. לכן, נשארו לו 8–3 = 5 אגסים. אז, אחרי כל השלבים האלה, לג'ון יש 5 אגסים.

הקלט שלך כאן.

 

עם זאת, רובכם ודאי חושבים... האם אני צריך לחשוב על דרך רציפה לפתור כל בעיה בכל פעם שאני רוצה לשאול משהו ב-ChatGPT?

ובכן... אתה לא הראשון! וזה מוביל אותנו ל…

2. שרשרת מחשבה אוטומטית (Auto-CoT)

ב2022, ג'אנג ועמיתיו הציגו שיטה להימנע מהתהליך הידני הזה. ישנן שתי סיבות עיקריות להימנע מכל משימה ידנית: 

• זה יכול להיות משעמם. 
• זה יכול להניב תוצאות רעות - למשל, כאשר התהליך הנפשי שלנו שגוי.

הם הציעו להשתמש ב-LLM בשילוב עם ההנחיה "בוא נחשוב צעד אחר צעד" כדי לייצר ברצף שרשראות חשיבה לכל הדגמה. 

זה אומר לשאול את ChatGPT כיצד לפתור כל בעיה ברצף ולאחר מכן להשתמש באותה דוגמה בדיוק כדי לאמן אותו כיצד לפתור כל בעיה אחרת. 

3. עקביות עצמית

עקביות עצמית היא עוד טכניקת הנחיה מעניינת שמטרתה לשפר את שרשרת המחשבה המעוררת בעיות חשיבה מורכבות יותר.

אז... מה ההבדל העיקרי?

הרעיון המרכזי תחת עקביות עצמית הוא להיות מודעים לכך שאנחנו יכולים לאמן את המודל עם דוגמה שגויה. רק תאר לעצמך שאני פותר את הבעיה הקודמת בתהליך נפשי שגוי: 

אם לג'ון יש 5 אגסים, אז אוכל 2, קונה עוד 5, ואז נותן 3 לחבר שלו, כמה אגסים יש לו? בואו נחשוב צעד אחר צעד.

התחל עם 5 אגסים. ג'ון אוכל 2 אגסים. לאחר מכן, הוא נותן 3 אגסים לחברו. ניתן לשלב פעולות אלו: 2 (אוכלים) + 3 (נתונים) = 5 אגסים בסך הכל מושפעים. כעת, הפחיתו את סך האגסים המושפעים מ-5 האגסים הראשוניים: 5 (ראשוני) - 5 (מושפע) = 0 אגסים נותרו.
לאחר מכן, כל משימה אחרת שאשלח לדגם תהיה שגויה.

 

זו הסיבה שהעקביות העצמית כוללת דגימה מנתיבי חשיבה שונים, שכל אחד מהם מכיל שרשרת מחשבה, ולאחר מכן לתת ל-LLM לבחור את הדרך הטובה והעקבית ביותר לפתרון הבעיה. 

 

תמונה נלקחה מה- מאמר
 

במקרה זה, ובעקבות הדוגמה הראשונה שוב, נוכל להראות למודל דרכים שונות לפתרון הבעיה. 

אם לג'ון יש 5 אגסים, אז אוכל 2, קונה עוד 5, ואז נותן 3 לחבר שלו, כמה אגסים יש לו?

התחל עם 5 אגסים. ג'ון אוכל 2 אגסים, ומשאיר לו 5-2 = 3 אגסים. הוא קונה עוד 5 אגסים, מה שמביא את הסכום הכולל ל-3 + 5 = 8 אגסים. לבסוף, הוא נותן לחברו 3 אגסים, אז נשארו לו 8–3 = 5 אגסים.

אם לג'ון יש 5 אגסים, אז אוכל 2, קונה עוד 5, ואז נותן 3 לחבר שלו, כמה אגסים יש לו?

התחל עם 5 אגסים. לאחר מכן הוא קונה עוד 5 אגסים. ג'ון אוכל 2 אגסים עכשיו. ניתן לשלב פעולות אלו: 2 (אכול) + 5 (קנו) = 7 אגסים בסך הכל. הפחיתו את האגס שג'ון אכל מהכמות הכוללת של אגסים 7 (הכמות הכוללת) – 2 (אכלו) = נותרו 5 אגסים.

הקלט שלך כאן.

 

והנה מגיעה הטכניקה האחרונה.

4. הנחיה לידע כללי

נוהג נפוץ של הנדסה מיידית הוא הגדלת שאילתה עם ידע נוסף לפני שליחת קריאת ה-API הסופית ל-GPT-3 או GPT-4.

לפי ג'יאצ'נג ליו ושות', אנחנו תמיד יכולים להוסיף קצת ידע לכל בקשה כדי שה-LLM ידע טוב יותר על השאלה. 

 

תמונה נלקחה מה- מאמר. 
 

אז למשל, כששואלים את ChatGPT אם חלק מהגולף מנסה להשיג סכום נקודות גבוה יותר מאחרים, זה יאמת אותנו. אבל, המטרה העיקרית של גולף היא הפוכה לגמרי. זו הסיבה שאנחנו יכולים להוסיף קצת ידע קודם ואומר לו "השחקן עם הניקוד הנמוך מנצח".

 

 

אז.. מה החלק המצחיק אם אנחנו אומרים לדוגמנית בדיוק את התשובה?

במקרה זה, טכניקה זו משמשת כדי לשפר את הדרך שבה LLM מתקשר איתנו. 

אז במקום לשלוף הקשר משלים ממסד נתונים חיצוני, מחברי המאמר ממליצים לתת ל-LLM לייצר את הידע שלו. הידע שנוצר בעצמו משולב לאחר מכן בהנחיה כדי לחזק חשיבה תקינה ולתת תפוקות טובות יותר. 

אז כך ניתן לשפר את ה-LLM מבלי להגדיל את מערך ההדרכה שלו!

הנדסה מהירה הופיעה כטכניקה מרכזית בשיפור היכולות של LLM. על ידי איטרציה ושיפור של הנחיות, אנו יכולים לתקשר בצורה ישירה יותר למודלים של AI ובכך להשיג פלטים מדויקים יותר ורלוונטיים להקשר, תוך חיסכון בזמן ומשאבים. 

עבור חובבי טכנולוגיה, מדעני נתונים ויוצרי תוכן כאחד, הבנה ושליטה בהנדסה מהירה יכולה להיות נכס רב ערך בניצול מלוא הפוטנציאל של AI.

על ידי שילוב של הנחיות קלט מעוצבות בקפידה עם טכניקות מתקדמות יותר אלו, עמידה במערך המיומנויות של הנדסה מהירה ללא ספק תיתן לך יתרון בשנים הקרובות.
 

ג'וזף פרר הוא מהנדס אנליטיקה מברצלונה. הוא סיים לימודי הנדסת פיזיקה וכיום הוא עובד בתחום מדעי הנתונים המיושם לניידות אנושית. הוא יוצר תוכן במשרה חלקית המתמקד במדעי הנתונים והטכנולוגיה. אתה יכול לפנות אליו ב לינקדין, טויטר or בינוני.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.kdnuggets.com/some-kick-ass-prompt-engineering-techniques-to-boost-our-llm-models?utm_source=rss&utm_medium=rss&utm_campaign=some-kick-ass-prompt-engineering-techniques-to-boost-our-llm-models