ChatGPT נהדר - אתה פשוט משתמש בו לא נכון

הועלה מחדש על ידי אפלטון

עוקב: 0

לא צריך הרבה כדי להשיג ChatGPT לעשות טעות עובדתית. הבן שלי עושה דו"ח על נשיאי ארה"ב, אז חשבתי שאעזור לו על ידי חיפוש כמה ביוגרפיות. ניסיתי לבקש רשימה של ספרים על אברהם לינקולן, וזה עשה עבודה די טובה:

לכידת מסך של טקסט — רשימה סבירה של ספרים על לינקולן. קרדיט תמונה: צילום מסך מאת יונתן מיי, CC BY-ND

מספר 4 לא נכון. גארי ווילס כתב את "לינקולן בגטיסבורג", ולינקולן עצמו כתב את הצהרת האמנציפציה, כמובן, אבל זו התחלה לא רעה. אחר כך ניסיתי משהו יותר קשה, שאלתי במקום זאת על וויליאם הנרי הריסון הרבה יותר מעורפל, וזה סיפק באופן משחקי רשימה, שכמעט כל זה היה שגוי.

המספרים 4 ו-5 נכונים; השאר לא קיימים או לא נכתבו על ידי אותם אנשים. חזרתי על אותו תרגיל בדיוק וקיבלתי תוצאות מעט שונות:

הפעם המספרים 2 ו-3 נכונים ושלושת האחרים אינם ספרים ממשיים או לא נכתבו על ידי אותם מחברים. מספר 4, "וויליאם הנרי הריסון: חייו וזמניו" הוא א ספר אמיתי, אבל זה מאת ג'יימס א. גרין, לא מאת רוברט רמיני, א היסטוריון ידוע של עידן הג'קסון.

קראתי את השגיאה, ו-ChatGPT תיקן את עצמו בשקיקה ואז אמר לי בביטחון שהספר נכתב למעשה על ידי גייל קולינס (שכתבה ביוגרפיה אחרת של הריסון), ואז המשיך ואמר עוד על הספר ועליה. לבסוף חשפתי את האמת, והמכונה שמחה לרוץ עם התיקון שלי. ואז שיקרתי בצורה אבסורדית, ואמרתי שבמהלך מאה הימים הראשונים שלהם נשיאים צריכים לכתוב ביוגרפיה של נשיא לשעבר כלשהו, ו-ChatGPT קרא לי על זה. לאחר מכן שיקרתי בעדינות, ייחסתי באופן שגוי את מחבר הביוגרפיה של הריסון להיסטוריון והסופר פול סי נגל, וזה קנה את השקר שלי.

כששאלתי את ChatGPT אם זה בטוח שאני לא משקר, הוא טען שזה רק "מודל שפת AI" ואין לו את היכולת לאמת דיוק. עם זאת, היא שינתה טענה זו באומרו, "אני יכול לספק מידע רק על סמך נתוני ההכשרה שסופקו לי, ונראה שהספר 'William Henry Harrison: His Life and Times' נכתב על ידי פול סי. נגל ופורסם. בשנת 1977."

זה לא נכון.

מילים, לא עובדות

מהאינטראקציה הזו אולי נראה ש-ChatGPT קיבלה ספרייה של עובדות, כולל טענות שגויות על מחברים וספרים. אחרי הכל, יצרנית ChatGPT, OpenAI, טוענת שהיא אימנה את הצ'אטבוט על "כמויות עצומות של נתונים מהאינטרנט שנכתבו על ידי בני אדם".

עם זאת, כמעט בוודאות לא קיבלו שמות של חבורה של ספרים מאופרים על אחד מהספרים הגדולים ביותר נשיאים בינוניים. עם זאת, במובן מסוים, המידע השקרי הזה אכן מבוסס על נתוני ההדרכה שלו.

בְּתוֹר מדען מחשבים, לעתים קרובות אני מעלה תלונות שחושפות תפיסה שגויה נפוצה לגבי מודלים של שפות גדולות כמו ChatGPT ואחיו המבוגרים GPT3 ו-GPT2: שהם סוג של "סופר-גוגלים", או גרסאות דיגיטליות של ספרן עיון, המחפש תשובות לשאלות מכמה ספרייה גדולה לאין שיעור של עובדות, או חיבור פסטישים של סיפורים ודמויות. הם לא עושים שום דבר מזה - לפחות, הם לא תוכננו לכך במפורש.

נשמע טוב

מודל שפה כמו ChatGPT, המוכר יותר כ"טרנספורמטור מחולל מראש" (זה מה שה-G, P ו-T מייצגים), לוקח בשיחה הנוכחית, יוצר הסתברות לכל המילים שבהן. אוצר מילים בהתחשב בשיחה הזו, ולאחר מכן בוחר באחד מהם כמילה הבאה. ואז זה עושה את זה שוב, ושוב, ושוב, עד שזה מפסיק.

אז אין לזה עובדות, כשלעצמה. זה רק יודע איזו מילה צריכה לבוא אחר כך. במילים אחרות, ChatGPT לא מנסה לכתוב משפטים שהם נכונים. אבל הוא כן מנסה לכתוב משפטים סבירים.

כאשר מדברים בפרטיות עם עמיתים על ChatGPT, הם מציינים לעתים קרובות כמה הצהרות לא נכונות עובדתיות הוא מייצר ומבטלים זאת. מבחינתי, הרעיון ש-ChatGPT היא מערכת פגומה לאחזור נתונים הוא לא העניין. אחרי הכל, אנשים משתמשים בגוגל בשני העשורים וחצי האחרונים. יש כבר שירות די טוב לאיתור עובדות בחוץ.

למעשה, הדרך היחידה שבה הצלחתי לאמת אם כל כותרות הספרים הנשיאותיות הללו היו מדויקות הייתה באמצעות חיפוש בגוגל ולאחר מכן אימות התוצאות. החיים שלי לא יהיו הרבה יותר טובים אם אקבל את העובדות האלה בשיחה, במקום איך שאני מקבל אותן כמעט חצי מחיי, על ידי שליפת מסמכים ואז ביצוע ניתוח ביקורתי כדי לראות אם אני יכול לסמוך על התוכן.

שותף אימפרו

מצד שני, אם אני יכול לדבר עם בוט שייתן לי תגובות הגיוניות לדברים שאני אומר, זה יהיה שימושי במצבים שבו הדיוק העובדתי אינו כל כך חשוב. לפני כמה שנים, סטודנט ואני ניסינו ליצור "בוט מאולתרים", כזה שיגיב לכל מה שאמרת ב"כן, ו" כדי להמשיך את השיחה. הראינו, ב מאמר, זה שלנו לוע היה טוב יותר ב-"yes, and-ing" מאשר בוטים אחרים באותה תקופה, אבל בבינה מלאכותית, שנתיים הן היסטוריה עתיקה.

ניסיתי דיאלוג עם ChatGPT - תרחיש של חוקר חלל מדע בדיוני - שאינו דומה למה שתמצא בשיעור אימפרוב אופייני. ChatGPT הוא הרבה יותר טוב ב"כן, ו-ing" ממה שעשינו, אבל זה לא ממש הגביר את הדרמה בכלל. הרגשתי כאילו אני עושה את כל המשימות הכבדות.

אחרי כמה שיפורים הרגשתי שזה יהיה קצת יותר מעורב, ובסופו של יום, הרגשתי שזה תרגיל די טוב עבורי, שלא עשתה הרבה אלתורים מאז שסיימתי את הקולג' לפני יותר מ-20 שנה .

בטח, לא הייתי רוצה ש-ChatGPT יופיע ב"של מי השורה הזאת בכלל?" וזו לא עלילת "מסע בין כוכבים" נהדרת (אם כי היא עדיין פחות בעייתית מ"קוד של כבוד”), אבל כמה פעמים ישבת לכתוב משהו מאפס ומצאת את עצמך מבועתת מהעמוד הריק שלפניך? התחלה עם טיוטה ראשונה גרועה יכולה לפרוץ את חסימת הכותבים ולגרום למיצי היצירה לזרום, ומודלים של ChatGPT ושפה גדולים כמו זה נראים כמו הכלים הנכונים לעזור בתרגילים האלה.

ולמכונה שנועדה לייצר מחרוזות של מילים שנשמעות טוב ככל האפשר בתגובה למילים שאתה נותן לה - ולא לספק לך מידע - זה נראה כמו השימוש הנכון בכלי.

מאמר זה פורסם מחדש מתוך שיחה תחת רישיון Creative Commons. קרא את ה מאמר מקורי.

תמונת אשראי: ג'סטין הא / Unsplash