האם ל-ChatGPT יש את הפוטנציאל להפוך לסופר-מאסטר חדש בשחמט? – KDnuggets

תמונה מעורך
 

כשחקן שחמט לשעבר מוצק (אלוף זוטר, ELO 2000+) ומדען נתונים NLP, תכננתי לכתוב מאמר זה במשך זמן מה.

The first time I heard about ChatGPT’s ability to play chess, was from one of my colleagues. Ph.D. and a very smart guy. He sent me the link to the webpage where you can play against ChatGPT as he thought. Unfortunately, it wasn’t pure ChatGPT, it was some other chess engine under the hood. He was deceived. You can still try it here: https://parrotchess.com/

לצורך מאמר זה, שיחקתי 2 משחקים נגד ChatGPT. הנה איך התחלנו:

בואו נסתכל על מה שקרה.

קורס סימון שחמט מהיר / תזכורת (ניתן לדלג עליו):

K = מלך, Q = מלכה, R = סלע, ​​B = בישוף, N = אביר, 0–0 = צד המלך הטילה. 0–0–0 = הצד של מלכת הטילה, x = לקיחת הכלה. עבור פיונים, אנחנו פשוט כותבים את הריבוע שהוא נוחת, למעט כאשר הפיון תופס. במקרה זה, נכתוב את האות של הריבוע שבו היה הפיון לפני כן, ואת האות והמספר של הריבוע שעליו הוא נכנס לאחר לקיחת החלק השני. לדוגמה, exd4.

ניקולה גרב נגד ChatGPT 4, ה-7 בינואר 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

עד המהלך e5, ChatGPT 4 שיחק כמו שחמטאי טוב מאוד. אנחנו יכולים לומר כמו GM. אבל כששיחקתי מהלך לא מדויק, אך אגרסיבי (exd5 היה המהלך הטוב ביותר), הוא איבד את הקרקע המשותף והטעה פיון ששיחק ב-Ne4.

לקחתי את האביר עם האביר (10. Nxe4) וההזיה הראשונה התרחשה:

Bc5 שוב הייתה טעות, טעות ברורה. מכיוון שלשאר המשחק אין ערך שח, אסכם את זה. ChatGPT 4 האשים אותי במהלכים בלתי אפשריים, ובסופו של דבר בהזיות (הצעת מהלכים בלתי אפשריים), במקום להיכנע למשחק.

בוא נראה מה קרה במשחק 2, שבו שיחקתי כלים שחורים:

ניקולה גרב נגד ChatGPT 4 (מהלכים 1–9) ו-ChatGPT 3.5 (מהלכים 10–12), ה-7 בינואר 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

עד לעמדה למטה, Chat GPT 4 שיחק טוב מאוד, ובנה עמדה טובה משמעותית ממנה אפסיד מהר מאוד מול גרנדמאסטר אמיתי (אפילו המאסטר המועמד) או מנוע שחמט. אם לבן משחק Bf6, שחור מפסיד את הפיון. עם זאת, ChatGPT שיחק Bd3:

הגבתי עם Ne4, ו-ChatGPT הגיב על ידי מעבר לגרסה 3.5 ומשחק Bxe4.

אחרי כמה מהלכים היה לי יתרון מכריע (בגלל ש-ChatGPT משחק רע, לא אני עושה משהו גדול) אז החלטתי לבדוק את היריב עם מהלך לא סדיר. הצעתי Ne6 לשחור בעמדה הזו:

ChatGPT 3.5 wasn’t concerned with my move at all. On my hallucination, it responded with the new hallucination:

1. ChatGPT 4 הוא שחמטאי חלש מאוד, שמשחק בצורה מוזרה מאוד - טוב מאוד בפתיחה המוקדמת ונורא מאוחר יותר. זה נובע ממספר האפשרויות ההולך וגובר ככל שמשחק השחמט מתקדם. הייתי מעריך את ה-ELO הכולל שלו נמוך מ-1500. כנ"ל לגבי 3.5.

2. לא התרחשה למידה מרומזת של כללים - צ'אט GPT 4 עדיין הוזה בשחמט, וממשיך להזות לאחר האזהרה על ההזיה. זה משהו שלא יכול לקרות לאדם.

3. נתונים נוספים בקושי יפתרו את הבעיה בגלל מקרי הקצה כמו משחקי קצה ארוכים במיוחד עם חזרות, או אפשרות לשחק פתחים יוצאי דופן. LLMs פשוט לא בנויים לשחק שח, וגם לא יכולים להעריך את המיקום. בשביל זה כבר יש לנו את AlphaZero ו-Stockfish.

4. מעקב אחר הירידה במספר ההזיות שמבצעים LLM במשחקי שח עשוי להיות דרך טובה להבנת הפוטנציאל של LLMs להיגיון הגיוני. אבל הפרדוקס נשאר - LLM "יודע" את כללי השחמט, ובכל זאת הוזה בכבדות? העתיד של ML עשוי להיות ב-LLM כסוכן ברמה הראשונה שמתקשר למשתמש ולאחר מכן מתקשר לסוכנים מיוחדים עם ארכיטקטורות ML המותאמות למקרי שימוש מסוימים.

5. ללימודי LLM יש פוטנציאל להיות שימושי במחקר מדעי ולהראות רמה מעניינת של יצירתיות בשילוב עם אלגוריתמים אחרים של למידת מכונה. דוגמה עדכנית היא אלגוריתם FunSearch שפותח על ידי DeepMind המשלב LLM ו-evaluator כדי למצוא תגליות במתמטיקה. בניגוד לשחמט שבו הערכת המיקום היא המשימה הקשה ביותר, בעיות רבות במדעי המתמטיקה הן "קלות להערכה, למרות שהן בדרך כלל קשות לפתרון".

אני סקפטי לגבי בניית תוכנית שחמט בעלת ביצועים טובים המבוססת על ארכיטקטורת שנאים, ובכל זאת LLM מתמחה בשילוב עם הערכה חיצונית/תוכנית שחמט עשויה להיות תחליף טוב למאמני שחמט בקרוב. DeepMind יצרה מודל מגניב נוסף שהוא דוגמה טובה לשילוב של LLM ומודל AI מיוחד - AlphaGeometry. זה קרוב מאוד לתקן זוכי הזהב של אולימפיאדה לבעיות גיאומטריה, ומקדם חשיבה של AI במתמטיקה.

6. לימודי תואר שני עדיין טריים, התחום צעיר מאוד ויש יותר מדי הייפ שמגובה לרוב במסקנות מטעות ושגויות. כפי שמחברים של ''תגליות מתמטיות מחיפוש תוכניות עם מודלים של שפה גדולים'' קובעים:

“…to the best of our knowledge, this shows the first scientific discovery — a new piece of verifiable knowledge about a notorious scientific problem — using an LLM.” (accelerated preview was published on the 14 of December 2023).

7. הקליפ של ג'ו רוגן ושני אורחים, שכותרתו ''לא פחדתי מבינה מלאכותית עד שלמדתי את זה'' נצפה על ידי 2 מיליון אנשים ביוטיוב. אחד האורחים אומר ש-ChatGPT יודע לשחק שח, וזה כמובן לא האמת. אני רק יכול לדמיין איך סוג זה של תוכן משפיע על אנשים, במיוחד אנשים חסרי השכלה או לא יציבים מבחינה רגשית. לא בצורה טובה, אני בטוח בזה.

לסיכום, מדע נתונים ופיתוח תוכנה בנוי על ידע, דיוק וחיפוש אמת. כמדענים ומפתחי נתונים, עלינו להיות אנשים של אמת וחוכמה, להרגיע את הטירוף שמייצרת תקשורת ההמונים על AI, לא להפעיל אותו. רובוטריקים, כולל ChatGPT, הם בעלי פוטנציאל גדול במשימות שפה, אבל הם עדיין רחוקים מאוד מ-AGI. אנחנו צריכים להיות אופטימיים אבל צודקים.

כקו מנחה, לפני שמטילים פצצות, עלינו לשאול את עצמנו: מה יקרה אם מישהו אחר יפעל בהתאם להצהרות שלי? באיזה עולם אתה רוצה לחיות?

הפניות וחקירה נוספת

1. שליטה בשחמט ושוג'י באמצעות משחק עצמי עם אלגוריתם למידת חיזוק כללי: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: גילוי תגליות חדשות במדעים מתמטיים באמצעות מודלים של שפה גדולה: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. תגליות מתמטיות מחיפוש תוכניות עם מודלים של שפות גדולות: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: מערכת AI ברמת אולימפיאדה לגיאומטריה: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. לא פחדתי מבינה מלאכותית עד שלמדתי את זה: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. איך לשחק שח נגד ChatGPT (ולמה כנראה שלא כדאי): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. האם צ'אט GPT יכול לשחק שחמט?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. עד כמה ChatGPT טוב במשחק שחמט? (ספוילר: תתרשם): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. שליטה בשחמט ושוג'י באמצעות משחק עצמי עם אלגוריתם למידת חיזוק כללי: https://arxiv.org/pdf/1712.01815.pdf

ניקולה גרב מקודד כבר יותר מארבע שנים, ובשנתיים האחרונות התמחה ב-NLP. לפני שפנה למדעי הנתונים, הוא הצליח במכירות, משאבי אנוש, כתיבה ושחמט.

• הפצת תוכן ויחסי ציבור מופעל על ידי SEO. קבל הגברה היום.
• PlatoData.Network Vertical Generative Ai. העצים את עצמך. גישה כאן.
• PlatoAiStream. Web3 Intelligence. הידע מוגבר. גישה כאן.
• PlatoESG. פחמן, קלינטק, אנרגיה, סביבה, שמש, ניהול פסולת. גישה כאן.
• PlatoHealth. מודיעין ביוטכנולוגיה וניסויים קליניים. גישה כאן.
• מקור: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster