Har ChatGPT potential att bli en ny superstormästare i schack? – KDnuggets

Bild från Editor
 

Som en solid före detta schackspelare (juniormästare, ELO 2000+) och NLP-dataforskare har jag planerat att skriva den här artikeln ett tag.

Första gången jag hörde talas om ChatGPT:s förmåga att spela schack var från en av mina kollegor. Ph.D. och en väldigt smart kille. Han skickade mig länken till webbsidan där du kan spela mot ChatGPT som han trodde. Tyvärr var det inte ren ChatGPT, det var någon annan schackmotor under huven. Han blev lurad. Du kan fortfarande prova här: https://parrotchess.com/

För syftet med den här artikeln spelade jag 2 matcher mot ChatGPT. Så här började vi:

Låt oss ta en titt på vad som hände.

Snabbschacknotationskurs/påminnelse (kan hoppas över):

K = kung, Q = drottning, R = klippa, B = Biskop, N = riddare, 0–0 = Rokastkungens sida. 0–0–0 = Casting drottningens sida, x = ta pjäsen. För bönder skriver vi bara kvadraten den landar, förutom när bonden fångar. I så fall skriver vi bokstaven på rutan där bonden var innan, och bokstaven och numret på rutan som den går på efter att ha tagit den andra pjäsen. Till exempel exd4.

Nikola Greb vs. ChatGPT 4, den 7 januari 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Fram till draget e5 spelade ChatGPT 4 som en mycket bra schackspelare. Vi kan säga som GM. Men när jag spelade ett oprecist, men ändå aggressivt drag (exd5 var det bästa draget), tappade det det gemensamma och gjorde en bonde som spelade Ne4.

Jag tog riddaren med riddaren (10. Nxe4) och den första hallucinationen inträffade:

Bc5 var återigen ett misstag, en uppenbar blunder. Eftersom resten av spelet inte har något schackvärde ska jag summera det. ChatGPT 4 anklagade mig för omöjliga rörelser och hamnade i hallucinationer (föreslog omöjliga drag), istället för att ge upp spelet.

Låt oss se vad som hände i spel 2, där jag spelade svarta pjäser:

Nikola Greb vs. ChatGPT 4 (drag 1–9) och ChatGPT 3.5 (drag 10–12), den 7 januari 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Fram till positionen nedan spelade Chat GPT 4 väldigt bra och byggde upp en betydligt bättre position från vilken jag skulle förlora mycket snabbt mot en riktig stormästare (även kandidatmästaren) eller schackmotor. Om vit spelar Bf6 förlorar svart bonden. Ändå spelade ChatGPT Bd3:

Jag svarade med Ne4, och ChatGPT svarade genom att byta till version 3.5 och spela Bxe4.

Efter några drag hade jag en avgörande fördel (på grund av att ChatGPT spelade dåligt, inte jag som gjorde något bra) så jag bestämde mig för att testa motståndaren med ett oregelbundet drag. Jag föreslog Ne6 för svart i denna position:

ChatGPT 3.5 brydde sig inte alls om min flytt. På min hallucination svarade den med den nya hallucinationen:

1. ChatGPT 4 är en mycket svag schackspelare, som spelar väldigt konstigt — mycket bra i tidig öppning och hemskt senare. Detta beror på det ökande antalet alternativ när schackspelet fortskrider. Jag skulle bedöma hans totala ELO till att vara lägre än 1500. Samma för 3.5.

2. Ingen implicit inlärning av regler hände – Chat GPT 4 hallucinerar fortfarande i schack och fortsätter att hallucinera efter varningen om hallucinationen. Detta är något som inte kan hända människan.

3. Mer data skulle knappast lösa problemet på grund av kantfallen som extra långa slutspel med upprepning, eller möjligheten att spela ovanliga öppningar. LLM:er är helt enkelt inte byggda för att spela schack och kan inte heller utvärdera positionen. Vi har redan AlphaZero och Stockfish för det.

4. Att spåra minskningen av antalet hallucinationer som LLM:er utför när de spelar schack kan vara en bra väg för att förstå potentialen hos LLM:er för logiska resonemang. Men paradoxen kvarstår - LLM "känner" schackreglerna, men hallucinerar kraftigt? framtiden för ML kan vara i LLM som en agent på första nivån som kommunicerar till användaren och sedan anropar specialiserade agenter med ML-arkitekturer anpassade för särskilda användningsfall.

5. LLM:er har potential att vara användbara i vetenskaplig forskning och visar en intressant nivå av kreativitet i kombination med andra maskininlärningsalgoritmer. Ett färskt exempel är FunSearch-algoritmen utvecklad av DeepMind som kombinerar LLM och utvärderare för att göra upptäckter i matematik. I motsats till schack där utvärderingen av positionen är den svåraste uppgiften, är många problem inom matematiska vetenskaper "enkla att utvärdera, trots att de vanligtvis är svåra att lösa".

Jag är skeptisk till att bygga ett välpresterande schackspelsprogram baserat på transformatorarkitektur, men specialiserad LLM i kombination med extern utvärdering/schackprogram kan snart vara ett bra substitut för schacktränare. DeepMind skapade en annan cool modell som är ett bra exempel på att kombinera LLM och en specialiserad AI-modell - AlphaGeometry. Det är mycket nära Olympiadens guldmedaljörsstandard för geometriproblem, vilket främjar AI-resonemang i matematik.

6. LLM är fortfarande färska, fältet är mycket ungt och det finns för mycket hype som ofta backas upp av vilseledande och felaktiga slutsatser. Som författarna till ''Matematiska upptäckter från programsökning med stora språkmodeller'' säger:

"... så vitt vi vet visar detta den första vetenskapliga upptäckten - en ny del av verifierbar kunskap om ett ökänt vetenskapligt problem - med hjälp av en LLM." (accelererad förhandsvisning publicerades den 14 december 2023).

7. Klippet av Joe Rogan och 2 gäster, med titeln ''I Wasn't Afraid of AI Tills I Learned This'' sågs av 2,8 miljoner människor på YouTube. En av gästerna säger att ChatGPT vet hur man spelar schack vilket uppenbarligen inte är sanningen. Jag kan bara föreställa mig hur den här typen av innehåll påverkar människor, särskilt outbildade eller känslomässigt instabila individer. Inte på ett bra sätt, jag är säker på det.

Sammanfattningsvis bygger datavetenskap och mjukvaruutveckling på kunskap, precision och sanningssökande. Som datavetare och utvecklare borde vi vara människor med sanning och visdom, lugna ner galenskapen som produceras av massmedia om AI, inte tända på den. Transformers, inklusive ChatGPT, har stor potential i språkuppgifter, men de är fortfarande väldigt långt borta från AGI. Vi bör vara optimistiska men korrekta.

Som en riktlinje, innan vi släpper bomber, bör vi fråga oss själva: Vad skulle hända om någon annan skulle agera efter mina uttalanden? Vilken typ av värld vill du leva i?

Referenser & ytterligare utforskning

1. Att bemästra schack och shogi genom självspel med en allmän förstärkningsinlärningsalgoritm: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Göra nya upptäckter inom matematiska vetenskaper med hjälp av stora språkmodeller: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. Matematiska upptäckter från programsökning med stora språkmodeller: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Ett AI-system på Olympiad-nivå för geometri: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. Jag var inte rädd för AI tills jag lärde mig det här: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Hur man spelar schack mot ChatGPT (och varför du förmodligen inte borde): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. Kan Chat GPT spela schack?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. Hur bra är ChatGPT på att spela schack? (Spoiler: du kommer att bli imponerad): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Att bemästra schack och shogi genom självspel med en allmän förstärkningsinlärningsalgoritm: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb har kodat i mer än fyra år, och de senaste två åren har han specialiserat sig på NLP. Innan han började med datavetenskap var han framgångsrik inom försäljning, HR, skrivande och schack.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster