ChatGPT には新しいチェスのスーパー グランドマスターになる可能性がありますか? – KDnuggets

編集者からの画像
 

堅実な元チェスプレイヤー (ジュニアチャンピオン、ELO 2000+) および NLP データサイエンティストとして、私はしばらくの間、この記事を書こうと計画していました。

ChatGPT のチェス能力について初めて聞いたのは、同僚の 1 人からでした。博士号そしてとても賢い男です。彼は自分の考え通り、ChatGPT と対戦できる Web ページへのリンクを私に送ってくれました。残念ながら、それは純粋な ChatGPT ではなく、内部に別のチェス エンジンが組み込まれていました。彼はだまされました。まだここで試すことができます: https://parrotchess.com/

この記事の目的のために、ChatGPT と 2 つのゲームをプレイしました。私たちが始めた経緯は次のとおりです。

何が起こったのか見てみましょう。

簡単なチェス記譜コース / リマインダー (スキップ可能):

K = キング、Q = クイーン、R = ロック、B = ビショップ、N = ナイト、0–0 = キャスリング王側。 0–0–0 = キャスリングクイーン側、x = 駒を取る。ポーンの場合は、ポーンがキャプチャするときを除いて、ポーンが着地するマス目を書き込むだけです。その場合は、前にポーンがあったマスの文字と、もう一方の駒を取った後にポーンが進むマスの文字と番号を書きます。たとえば、exd4。

ニコラ・グレブ vs. ChatGPT 4、7 年 2024 月 XNUMX 日

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

e5 までは、ChatGPT 4 は非常に優れたチェスプレイヤーのようにプレイしていました。 GMのように言えます。しかし、私が不正確ではあるが攻撃的な手をプレイしたとき (exd5 が最良の動きでした)、共通点を失い、Ne4 をプレイしているポーンを失敗させてしまいました。

私は騎士を騎士（10.Nxe4）と一緒に連れて行きました、そして最初の幻覚が起こりました：

Bc5 はまたしても間違いであり、明らかな失敗でした。ゲームの残りの部分にはチェスの価値がないので、要約します。 ChatGPT 4 は私を不可能な動きだと非難し、ゲームを放棄する代わりに幻覚に陥って (不可能な動きを提案する) しまいました。

私が黒の駒をプレイしたゲーム 2 で何が起こったのか見てみましょう。

ニコラ・グレブ vs. ChatGPT 4 (手数 1 ～ 9) および ChatGPT 3.5 (手数 10 ～ 12)、7 年 2024 月 XNUMX 日

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

以下のポジションまでは、Chat GPT 4 は非常にうまく機能し、本物のグランドマスター (マスター候補であっても) やチェス エンジンに対してすぐに負ける大幅に良いポジションを構築しました。白が Bf6 をプレイした場合、黒はポーンを失います。それでも、ChatGPT は Bd3 を再生しました。

私が Ne4 で応答すると、ChatGPT はバージョン 3.5 に切り替えて Bxe4 を再生することで応答しました。

数手動かした後、私が決定的に有利になったので（私が素晴らしいことをしたのではなく、ChatGPT のプレーが悪かったため）、変則的な動きで相手をテストすることにしました。私はこの位置で黒の Ne6 を提案しました。

ChatGPT 3.5 は私の動きにはまったく関係ありませんでした。私の幻覚に対して、それは新たな幻覚で反応しました。

1. ChatGPT 4 は非常に弱いチェス プレイヤーで、非常に奇妙なプレイをします。序盤は非常に優れていますが、後半はひどいものです。これは、チェスのゲームが進むにつれて選択肢が増えるためです。私は彼の全体的な ELO が 1500 未満であると評価します。3.5 についても同様です。

2. ルールの暗黙的な学習は発生しません - チャット GPT 4 は依然としてチェスで幻覚を起こし、幻覚についての警告の後も幻覚を続けます。これは人間には起こり得ないことです。

3. 繰り返しのある非常に長いエンドゲームや、異常なオープニングをプレイする可能性などの特殊なケースのため、データが増えても問題はほとんど解決されません。 LLM はチェスをプレイするために構築されておらず、局面を評価することもできません。そのための AlphaZero と Stockfish がすでにあります。

4. LLM がチェスのプレイ中に行う幻覚の数の減少を追跡することは、LLM の論理的推論の可能性を理解するための良い方法になる可能性があります。しかし、パラドックスは依然として残っています。LLM はチェスのルールを「知っている」にもかかわらず、ひどい幻覚を持っていますか? ML の将来は、ユーザーと通信し、特定のユースケースに合わせて調整された ML アーキテクチャを持つ特殊なエージェントを呼び出す第 XNUMX レベルのエージェントとして LLM に組み込まれる可能性があります。

5. LLM は科学研究に役立つ可能性があり、他の機械学習アルゴリズムと組み合わせると興味深いレベルの創造性を示します。最近の例は、DeepMind によって開発された FunSearch アルゴリズムで、LLM と評価器を組み合わせて数学で発見を行います。局面の評価が最も難しいタスクであるチェスとは対照的に、数理科学の問題の多くは「通常は解決するのが難しいにもかかわらず、評価するのは簡単」です。

私は、トランスフォーマー アーキテクチャに基づいて優れたパフォーマンスのチェス プレイ プログラムを構築することには懐疑的ですが、外部評価/チェス プログラムと組み合わせた特殊な LLM は、すぐにチェス トレーナーの良い代替品になるかもしれません。 DeepMind は、LLM と特殊な AI モデルを組み合わせた好例となる別のクールなモデル、AlphaGeometry を作成しました。これは、幾何学問題におけるオリンピックの金メダリストの標準に非常に近く、数学における AI 推論を進歩させます。

6. LLM はまだ新しく、この分野は非常に若いため、誤解を招く間違った結論に裏付けられた誇大宣伝が多すぎます。 「大規模言語モデルを使用したプログラム検索からの数学的発見」の著者は次のように述べています。

「…私​​たちの知る限り、これはLLMを使用した最初の科学的発見、つまり悪名高い科学的問題に関する検証可能な新たな知識を示しています。」 (加速プレビューは 14 年 2023 月 XNUMX 日に公開されました)。

7. Joe Rogan と 2 人のゲストによる「これを学ぶまでは AI を恐れていませんでした」というタイトルのクリップは、YouTube で 2,8 万人に視聴されました。ゲストの XNUMX 人は、ChatGPT はチェスの遊び方を知っていると言っていますが、これは明らかに真実ではありません。この種のコンテンツが人々、特に教育を受けていない人々や情緒的に不安定な人々にどのような影響を与えるかは想像できます。良い意味ではありませんが、それは確かです。

結論として、データ サイエンスとソフトウェア開発は、知識、精度、真実の追求に基づいて構築されています。データサイエンティストや開発者として、私たちは真実と知恵を持った人間であるべきであり、AI に関してマスメディアが生み出した狂気を煽るのではなく、鎮静化させなければなりません。 ChatGPT を含むトランスフォーマーは言語タスクにおいて大きな可能性を秘めていますが、AGI からはまだ遠く離れています。私たちは楽観的であるべきですが、それは正しいことです。

ガイドラインとして、爆弾を投下する前に、次のことを自問する必要があります。もし他の誰かが私の発言に基づいて行動したらどうなるでしょうか?あなたはどんな世界に住みたいですか？

参考文献とさらなる調査

1. 一般的な強化学習アルゴリズムを使用したセルフプレイによるチェスと将棋のマスター: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: 大規模言語モデルを使用して数理科学で新しい発見を行う: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large- language-models/
3. 大規模な言語モデルを使用したプログラム検索からの数学的発見: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: オリンピックレベルの幾何学 AI システム: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. これを知るまでは AI を恐れていませんでした: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. ChatGPT とチェスを対戦する方法 (そしておそらくそうすべきではない理由): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. チャット GPT でチェスをプレイできますか?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. ChatGPT はチェスに関してどれくらい優れていますか? (ネタバレ: きっと感動するでしょう): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. 一般的な強化学習アルゴリズムを使用したセルフプレイによるチェスと将棋のマスター: https://arxiv.org/pdf/1712.01815.pdf

ニコラ・グレブ 彼は 4 年以上コーディングを行っており、過去 2 年間は NLP を専門にしていました。データ サイエンスに転向する前は、営業、人事、執筆、チェスの分野で成功を収めていました。

• SEO を活用したコンテンツと PR 配信。 今日増幅されます。
• PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
• プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
• プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
• プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
• 情報源： https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster