Hat ChatGPT das Potenzial, ein neuer Schach-Supergroßmeister zu werden? – KDnuggets

Bild vom Herausgeber
 

Als solider Ex-Schachspieler (Juniormeister, ELO 2000+) und NLP-Datenwissenschaftler habe ich schon seit einiger Zeit geplant, diesen Artikel zu schreiben.

Das erste Mal, dass ich von ChatGPTs Fähigkeit, Schach zu spielen, hörte, war von einem meiner Kollegen. Ph.D. und ein sehr kluger Kerl. Er hat mir den Link zu der Webseite geschickt, auf der man, wie er dachte, gegen ChatGPT spielen kann. Leider war es kein reines ChatGPT, sondern eine andere Schach-Engine unter der Haube. Er wurde getäuscht. Du kannst es trotzdem hier ausprobieren: https://parrotchess.com/

Für diesen Artikel habe ich zwei Spiele gegen ChatGPT gespielt. So haben wir angefangen:

Schauen wir uns an, was passiert ist.

Kurzkurs/Erinnerung zur Schachnotation (kann übersprungen werden):

K = König, Q = Königin, R = Stein, B = Läufer, N = Ritter, 0–0 = Seite des Rochadekönigs. 0–0–0 = Rochadedamenseite, x = die Figur nehmen. Bei Bauern schreiben wir einfach das Feld, auf dem sie landen, es sei denn, der Bauer schlägt. In diesem Fall schreiben wir den Buchstaben des Feldes, auf dem der Bauer zuvor stand, und den Buchstaben und die Nummer des Feldes, auf dem er steht, nachdem wir die andere Figur genommen haben. Zum Beispiel exd4.

Nikola Greb vs. ChatGPT 4, der 7. Januar 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Bis zum Zug e5 spielte ChatGPT 4 wie ein sehr guter Schachspieler. Wir können wie GM sagen. Aber als ich einen ungenauen, aber aggressiven Zug spielte (exd5 war der beste Zug), verlor er die Gemeinsamkeit und ließ einen Bauern auf Se4 scheitern.

Ich nahm den Springer mit dem Springer (10. Sxe4) und die erste Halluzination trat auf:

Lc5 war erneut ein Fehler, ein offensichtlicher Fehler. Da der Rest des Spiels keinen schachlichen Wert hat, werde ich es zusammenfassen. ChatGPT 4 warf mir unmögliche Züge vor und bekam Halluzinationen (und schlug unmögliche Züge vor), anstatt das Spiel aufzugeben.

Mal sehen, was in der zweiten Partie passiert ist, in der ich schwarze Figuren gespielt habe:

Nikola Greb gegen ChatGPT 4 (Züge 1–9) und ChatGPT 3.5 (Züge 10–12), 7. Januar 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Bis zur Position unten spielte sich Chat GPT 4 sehr gut und baute eine deutlich bessere Position auf, aus der ich sehr schnell gegen einen echten Großmeister (sogar den Kandidatenmeister) oder eine Schachmaschine verlieren würde. Wenn Weiß Lf6 spielt, verliert Schwarz den Bauern. Dennoch spielte ChatGPT Bd3:

Ich antwortete mit Ne4 und ChatGPT reagierte, indem es auf Version 3.5 wechselte und Bxe4 spielte.

Nach ein paar Zügen hatte ich einen entscheidenden Vorteil (weil ChatGPT schlecht spielte und nicht, dass ich etwas Großartiges machte), also beschloss ich, den Gegner mit einem unregelmäßigen Zug zu testen. Ich habe Ne6 für Schwarz in dieser Stellung vorgeschlagen:

ChatGPT 3.5 kümmerte sich überhaupt nicht um meinen Umzug. Auf meine Halluzination reagierte es mit der neuen Halluzination:

1. ChatGPT 4 ist ein sehr schwacher Schachspieler, der sehr seltsam spielt – sehr gut in der frühen Eröffnung und schrecklich später. Dies ist auf die zunehmende Anzahl von Optionen im Verlauf des Schachspiels zurückzuführen. Ich würde seinen Gesamt-ELO auf unter 1500 schätzen. Das Gleiche gilt für 3.5.

2. Es fand kein implizites Erlernen der Regeln statt – Chat GPT 4 halluziniert immer noch beim Schach und halluziniert auch nach der Warnung vor der Halluzination weiter. Das ist etwas, was dem Menschen nicht passieren kann.

3. Mehr Daten würden das Problem aufgrund der Randfälle wie besonders lange Endspiele mit Wiederholungen oder der Möglichkeit, ungewöhnliche Eröffnungen zu spielen, kaum lösen. LLMs sind einfach nicht zum Schachspielen geeignet und können auch nicht die Position bewerten. Dafür haben wir bereits AlphaZero und Stockfish.

4. Die Beobachtung des Rückgangs der Anzahl von Halluzinationen, die LLMs beim Schachspielen auslösen, könnte ein guter Weg sein, das Potenzial von LLMs für logisches Denken zu verstehen. Aber das Paradox bleibt bestehen – LLM „kennt“ die Schachregeln, halluziniert aber stark? Die Zukunft von ML könnte in LLM als Agent der ersten Ebene liegen, der mit dem Benutzer kommuniziert und dann spezialisierte Agenten mit ML-Architekturen aufruft, die an bestimmte Anwendungsfälle angepasst sind.

5. LLMs haben das Potenzial, in der wissenschaftlichen Forschung nützlich zu sein und zeigen in Kombination mit anderen Algorithmen des maschinellen Lernens ein interessantes Maß an Kreativität. Ein aktuelles Beispiel ist der von DeepMind entwickelte FunSearch-Algorithmus, der LLM und Evaluator kombiniert, um Entdeckungen in der Mathematik zu machen. Im Gegensatz zum Schach, wo die Bewertung der Stellung die schwierigste Aufgabe ist, sind viele Probleme in den mathematischen Wissenschaften „leicht zu bewerten, obwohl sie normalerweise schwer zu lösen sind“.

Ich bin skeptisch, was den Aufbau eines leistungsfähigen Schachspielprogramms auf Basis der Transformers-Architektur angeht, doch ein spezialisiertes LLM in Kombination mit einem externen Evaluierungs-/Schachprogramm könnte bald ein guter Ersatz für Schachtrainer sein. DeepMind hat ein weiteres cooles Modell erstellt, das ein gutes Beispiel für die Kombination von LLM und einem speziellen KI-Modell ist – AlphaGeometry. Es kommt dem Goldmedaillenstandard der Olympiade für Geometrieprobleme sehr nahe und fördert das KI-Denken in der Mathematik.

6. LLMs sind noch frisch, das Fachgebiet ist sehr jung und es gibt zu viel Hype, der oft durch irreführende und falsche Schlussfolgerungen gestützt wird. Wie die Autoren des Buches „Mathematische Entdeckungen aus der Programmsuche mit großen Sprachmodellen“ feststellen:

„… nach unserem besten Wissen handelt es sich hier um die erste wissenschaftliche Entdeckung – ein neues Stück überprüfbares Wissen über ein berüchtigtes wissenschaftliches Problem – mithilfe eines LLM.“ (Die beschleunigte Vorschau wurde am 14. Dezember 2023 veröffentlicht).

7. Der Clip von Joe Rogan und zwei Gästen mit dem Titel „I Wasn't Afraid of AI Until I Learned This“ wurde von 2 Millionen Menschen auf YouTube angesehen. Einer der Gäste sagt, dass ChatGPT weiß, wie man Schach spielt, was offensichtlich nicht der Wahrheit entspricht. Ich kann mir gut vorstellen, welchen Einfluss diese Art von Inhalten auf Menschen hat, insbesondere auf ungebildete oder emotional instabile Personen. Nicht im guten Sinne, da bin ich mir sicher.

Zusammenfassend lässt sich sagen, dass Datenwissenschaft und Softwareentwicklung auf Wissen, Präzision und Wahrheitssuche basieren. Als Datenwissenschaftler und Entwickler sollten wir Menschen der Wahrheit und Weisheit sein und den Wahnsinn der Massenmedien über KI beruhigen und nicht anheizen. Transformer, einschließlich ChatGPT, haben großes Potenzial für Sprachaufgaben, sind aber noch sehr weit von AGI entfernt. Wir sollten optimistisch, aber richtig sein.

Als Richtlinie sollten wir uns vor dem Abwerfen von Bomben fragen: Was würde passieren, wenn jemand anderes auf meine Aussagen reagieren würde? In was für einer Welt möchtest du leben?

Referenzen und weitere Erkundung

1. Schach und Shogi durch Selbstspiel mit einem allgemeinen Lernalgorithmus zur Verstärkung beherrschen: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Neue Entdeckungen in den mathematischen Wissenschaften mithilfe großer Sprachmodelle machen: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-lingual-models/
3. Mathematische Entdeckungen aus der Programmsuche mit großen Sprachmodellen: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Ein KI-System für Geometrie auf Olympia-Niveau: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. Ich hatte keine Angst vor KI, bis ich das erfuhr: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Wie man Schach gegen ChatGPT spielt (und warum Sie das wahrscheinlich nicht tun sollten): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. Kann Chat GPT Schach spielen?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. Wie gut spielt ChatGPT Schach? (Spoiler: Sie werden beeindruckt sein): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Schach und Shogi durch Selbstspiel mit einem allgemeinen Lernalgorithmus zur Verstärkung beherrschen: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb programmiert seit mehr als vier Jahren und hat sich in den letzten zwei Jahren auf NLP spezialisiert. Bevor er sich der Datenwissenschaft zuwandte, war er erfolgreich in den Bereichen Vertrieb, Personalwesen, Schreiben und Schach.

• SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
• PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
• PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
• PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
• PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
• Quelle: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster