Van-e lehetőség a ChatGPT-nek arra, hogy új sakk szupernagymesterré váljon? – KDnuggets

Kép a szerkesztőből
 

Szilárd volt sakkozóként (junior bajnok, ELO 2000+) és NLP adattudósként már egy ideje tervezem, hogy megírom ezt a cikket.

The first time I heard about ChatGPT’s ability to play chess, was from one of my colleagues. Ph.D. and a very smart guy. He sent me the link to the webpage where you can play against ChatGPT as he thought. Unfortunately, it wasn’t pure ChatGPT, it was some other chess engine under the hood. He was deceived. You can still try it here: https://parrotchess.com/

Ebben a cikkben 2 meccset játszottam a ChatGPT ellen. Így kezdtük:

Vessünk egy pillantást a történtekre.

Gyors sakkjegyző tanfolyam / emlékeztető (kihagyható):

K = király, Q = királynő, R = szikla, B = püspök, N = lovag, 0–0 = várkirály oldala. 0–0–0 = Castling királynő oldala, x = a bábu átvétele. A gyalogok esetében csak azt a négyzetet írjuk be, amelyikbe kerül, kivéve, ha a gyalog elfog. Ebben az esetben annak a mezőnek a betűjelét írjuk, ahol a gyalog volt, és annak a mezőnek a betűjét és számát, amelyre a másik bábu elvétele után kerül. Például exd4.

Nikola Greb vs. ChatGPT 4, 7. január 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Az e5 lépésig a ChatGPT 4 úgy játszott, mint egy nagyon jó sakkozó. Mondhatjuk úgy, mint a GM. De amikor pontatlan, mégis agresszív lépést játszottam (az exd5 volt a legjobb lépés), elvesztette a közös nevezőt, és összezavarta a Ne4-et játszó gyalogot.

Elvittem a lovagot a lovaggal (10. Nxe4) és megtörtént az első hallucináció:

A Bc5 ismét hiba volt, nyilvánvaló baklövés. Mivel a játék többi részének nincs sakkértéke, összefoglalom. A ChatGPT 4 lehetetlen lépésekkel vádolt meg, és hallucinációkba torkollt (lehetetlen mozdulatokat javasolt), ahelyett, hogy feladtam volna a játékot.

Lássuk, mi történt a 2. játékban, ahol fekete darabokkal játszottam:

Nikola Greb vs. ChatGPT 4 (1–9. lépés) és ChatGPT 3.5 (10–12. lépés), 7. január 2024.

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Az alábbi pozícióig a Chat GPT 4 nagyon jól játszott, lényegesen jobb pozíciót épített ki, ahonnan nagyon gyorsan veszítenék egy igazi nagymester (akár a mesterjelölt) vagy sakkmotor ellen. Ha fehér Bf6-tal játszik, a fekete elveszíti a gyalogot. Ennek ellenére a ChatGPT a Bd3-at játszotta:

Ne4-el válaszoltam, a ChatGPT pedig a 3.5-ös verzióra váltással és a Bxe4-gyel válaszolt.

Néhány lépés után döntő előnybe kerültem (a ChatGPT rosszul játszott játéka miatt, nem én csináltam valami nagyszerűt), ezért úgy döntöttem, hogy egy szabálytalan mozdulattal tesztelem az ellenfelet. A Ne6-ot feketére javasoltam ebben a pozícióban:

ChatGPT 3.5 wasn’t concerned with my move at all. On my hallucination, it responded with the new hallucination:

1. A ChatGPT 4 egy nagyon gyenge sakkozó, aki nagyon furcsán játszik – nagyon jó a korai nyitásban, és szörnyű később. Ez annak köszönhető, hogy a sakkjátszma előrehaladtával növekszik a lehetőségek száma. Az összesített ELO-ját 1500-nál alacsonyabbra értékelném. Ugyanez a 3.5-re.

2. Nem történt hallgatólagos szabálytanulás – A Chat GPT 4 még mindig sakkban hallucinál, és a hallucinációra vonatkozó figyelmeztetés után is hallucinál. Ez olyan dolog, ami nem történhet meg az emberrel.

3. Több adat aligha oldaná meg a problémát az éles esetek miatt, mint például az ismétlődő extra hosszú végjátékok, vagy a szokatlan nyitások lehetősége. Az LLM-ek egyszerűen nem sakkozásra készültek, és nem is tudják értékelni a pozíciót. Erre már van AlphaZero és Stockfish.

4. Az LLM-ek sakkozása során előforduló hallucinációk számának csökkenésének nyomon követése jó út lehet az LLM-ekben rejlő logikai érvelésben rejlő lehetőségek megértéséhez. De a paradoxon megmarad – az LLM „ismeri” a sakk szabályait, mégis erősen hallucinál? Az ML jövője az LLM-ben lehet, mint az első szintű ügynökben, amely kommunikál a felhasználóval, majd speciális ügynököket hív meg az adott használati esetekhez igazított ML architektúrával.

5. Az LLM-ek hasznosak lehetnek a tudományos kutatásban, és érdekes szintű kreativitást mutatnak más gépi tanulási algoritmusokkal kombinálva. Egy újabb példa a DeepMind által kifejlesztett FunSearch algoritmus, amely az LLM-t és az értékelőt egyesíti, hogy felfedezéseket tegyen a matematikában. Ellentétben a sakkkal, ahol a pozíció értékelése a legnehezebb feladat, a matematikai tudományokban sok probléma „könnyen értékelhető, annak ellenére, hogy általában nehéz megoldani”.

Szkeptikus vagyok egy jól teljesítő, transzformátor architektúrán alapuló sakkjáték-program felépítésével kapcsolatban, de a speciális LLM külső értékelési/sakkprogrammal kombinálva hamarosan jó helyettesítheti a sakkképzőket. A DeepMind egy másik klassz modellt készített, amely jó példa az LLM és egy speciális mesterséges intelligencia modell – AlphaGeometry – kombinálására. Nagyon közel áll a geometriai problémák olimpiai aranyérmes szabványához, fejlesztve az AI érvelését a matematikában.

6. Az LLM-ek még mindig frissek, a mezőny nagyon fiatal, és túl sok a hype, amit gyakran félrevezető és téves következtetések támasztanak alá. Ahogy a „Matematikai felfedezések a programkeresésből nagy nyelvi modellekkel” című könyv szerzői állítják:

“…to the best of our knowledge, this shows the first scientific discovery — a new piece of verifiable knowledge about a notorious scientific problem — using an LLM.” (accelerated preview was published on the 14 of December 2023).

7. Joe Rogan és 2 vendég klipjét ''I Was't Afraid of AI Until I Learned This'' címmel 2,8 millióan nézték meg a YouTube-on. Az egyik vendég azt mondja, hogy a ChatGPT tudja, hogyan kell sakkozni, ami nyilvánvalóan nem az igazság. El tudom képzelni, hogy ez a fajta tartalom milyen hatással van az emberekre, különösen az iskolázatlan vagy érzelmileg instabil egyénekre. Nem a jó értelemben, ebben biztos vagyok.

Összefoglalva, az adattudomány és a szoftverfejlesztés a tudásra, a pontosságra és az igazságkeresésre épül. Adattudósként és -fejlesztőként az igazság és a bölcsesség embereinek kell lennünk, le kell csillapítanunk a tömegtájékoztatási eszközök által a mesterséges intelligencia kapcsán keltett őrületet, nem pedig felgyújtani. A transzformátorokban, köztük a ChatGPT-ben is nagy lehetőségek rejlenek a nyelvi feladatokban, de még mindig nagyon távol állnak az AGI-tól. Optimistának, de helyesnek kell lennünk.

Útmutatóként, mielőtt bombákat dobnánk, tegyük fel magunknak a kérdést: Mi történne, ha valaki más cselekedne a kijelentéseim szerint? Milyen világban szeretnél élni?

Referenciák és további kutatások

1. A sakk és a shogi elsajátítása önálló játékkal egy általános megerősítési tanulási algoritmussal: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Új felfedezések a matematikai tudományokban nagy nyelvi modellek segítségével: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. Matematikai felfedezések a programkeresésből nagy nyelvi modellekkel: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Olimpia szintű mesterséges intelligencia rendszer geometriához: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. Nem féltem az AI-tól, amíg meg nem tanultam: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Hogyan sakkozzunk a ChatGPT ellen (és valószínűleg miért ne): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. A Chat GPT sakkozhat?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. Mennyire jó a ChatGPT sakkozni? (Spoiler: le fog nyűgözni): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. A sakk és a shogi elsajátítása önálló játékkal egy általános megerősítési tanulási algoritmussal: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb több mint négy éve kódol, az elmúlt két évben pedig az NLP-re szakosodott. Mielőtt az adattudomány felé fordult, sikeres volt az értékesítésben, a HR-ben, az írásban és a sakkban.

• SEO által támogatott tartalom és PR terjesztés. Erősödjön még ma.
• PlatoData.Network Vertical Generative Ai. Erősítse meg magát. Hozzáférés itt.
• PlatoAiStream. Web3 Intelligence. Felerősített tudás. Hozzáférés itt.
• PlatoESG. Carbon, CleanTech, Energia, Környezet, Nap, Hulladékgazdálkodás. Hozzáférés itt.
• PlatoHealth. Biotechnológiai és klinikai vizsgálatok intelligencia. Hozzáférés itt.
• Forrás: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster