Apakah ChatGPT Berpotensi Menjadi Super Grandmaster Catur Baru? – KDnugget

Gambar dari Editor
 

Sebagai mantan pemain catur yang solid (juara junior, ELO 2000+) dan data scientist NLP, saya sudah berencana untuk menulis artikel ini cukup lama.

Pertama kali saya mendengar tentang kemampuan ChatGPT dalam bermain catur adalah dari salah satu rekan saya. Ph.D. dan seorang pria yang sangat pintar. Dia mengirimi saya tautan ke halaman web tempat Anda bisa bermain melawan ChatGPT seperti yang dia pikirkan. Sayangnya, ini bukan ChatGPT murni, melainkan mesin catur lain yang ada di dalamnya. Dia tertipu. Anda masih dapat mencobanya di sini: https://parrotchess.com/

Untuk tujuan artikel ini, saya memainkan 2 pertandingan melawan ChatGPT. Inilah cara kami memulai:

Mari kita lihat apa yang terjadi.

Kursus/pengingat notasi catur cepat (dapat dilewati):

K = raja, Q = ratu, R = batu, B = Uskup, N = ksatria, 0–0 = Kastil di sisi raja. 0–0–0 = Kastil di sisi ratu, x = mengambil bidak. Untuk pion, kita tulis saja petak yang didaratkannya, kecuali pion tersebut menangkap. Dalam hal ini, kita menulis huruf petak tempat pion berada sebelumnya, dan huruf serta nomor petak yang dilewatinya setelah mengambil bidak lainnya. Misalnya, exd4.

Nikola Greb vs.ChatGPT 4, 7 Januari 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Hingga perpindahan e5, ChatGPT 4 bermain seperti pemain catur yang sangat baik. Kita bisa bilang seperti GM. Namun ketika saya memainkan gerakan yang tidak tepat, namun agresif (exd5 adalah langkah terbaik), ia kehilangan titik temu dan membuat pion memainkan Ne4 melakukan kesalahan.

Saya mengambil ksatria dengan ksatria (10.Nxe4) dan halusinasi pertama terjadi:

Bc5 sekali lagi merupakan sebuah kesalahan, sebuah kesalahan yang nyata. Karena sisa permainannya tidak memiliki nilai catur, saya akan merangkumnya. ChatGPT 4 menuduh saya melakukan gerakan yang mustahil, dan berakhir dengan halusinasi (mengusulkan gerakan yang mustahil), bukannya menyerah pada permainan.

Mari kita lihat apa yang terjadi di game 2, di mana saya memainkan bidak hitam:

Nikola Greb vs. ChatGPT 4 (gerakan 1–9) dan ChatGPT 3.5 (gerakan 10–12), 7 Januari 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Hingga posisi di bawah, Chat GPT 4 bermain sangat baik, membangun posisi yang jauh lebih baik sehingga saya akan kalah dengan sangat cepat melawan grandmaster sungguhan (bahkan calon master) atau mesin catur. Jika putih memainkan Bf6, hitam kehilangan pionnya. Namun, ChatGPT memainkan Bd3:

Saya merespons dengan Ne4, dan ChatGPT merespons dengan beralih ke versi 3.5 dan memainkan Bxe4.

Setelah beberapa gerakan, saya mendapat keuntungan yang menentukan (karena ChatGPT bermain buruk, bukan saya melakukan sesuatu yang hebat) jadi saya memutuskan untuk menguji lawan dengan gerakan tidak teratur. Saya mengusulkan Ne6 untuk warna hitam di posisi ini:

ChatGPT 3.5 sama sekali tidak peduli dengan perpindahan saya. Pada halusinasi saya, ia merespons dengan halusinasi baru:

1. ChatGPT 4 adalah pemain catur yang sangat lemah, yang bermain sangat aneh — sangat bagus di awal pembukaan dan buruk di kemudian hari. Hal ini disebabkan semakin banyaknya pilihan seiring berjalannya permainan catur. Saya menilai ELO keseluruhannya lebih rendah dari 1500. Sama untuk 3.5.

2. Tidak terjadi pembelajaran aturan secara implisit —Obrolan GPT 4 masih berhalusinasi dalam catur, dan terus berhalusinasi setelah diperingatkan tentang halusinasi tersebut. Ini adalah sesuatu yang tidak mungkin terjadi pada manusia.

3. Lebih banyak data tidak akan menyelesaikan masalah karena kasus-kasus tepi seperti permainan akhir yang ekstra panjang dengan pengulangan, atau kemungkinan memainkan pembukaan yang tidak biasa. LLM tidak dibuat untuk bermain catur, juga tidak dapat mengevaluasi posisi. Kami sudah memiliki AlphaZero dan Stockfish untuk itu.

4. Melacak penurunan jumlah halusinasi yang dilakukan LLM dalam bermain catur mungkin merupakan cara yang baik untuk memahami potensi LLM untuk penalaran logis. Namun paradoks tetap ada - LLM “tahu” aturan catur, namun sering berhalusinasi? masa depan ML mungkin berada di LLM sebagai agen tingkat pertama yang berkomunikasi dengan pengguna dan kemudian memanggil agen khusus dengan arsitektur ML yang disesuaikan dengan kasus penggunaan tertentu.

5. LLM mempunyai potensi untuk berguna dalam penelitian ilmiah dan menunjukkan tingkat kreativitas yang menarik jika dikombinasikan dengan algoritma pembelajaran mesin lainnya. Contoh terbaru adalah algoritma FunSearch yang dikembangkan oleh DeepMind yang menggabungkan LLM dan evaluator untuk membuat penemuan dalam matematika. Berbeda dengan catur dimana evaluasi posisi adalah tugas tersulit, banyak soal dalam ilmu matematika “mudah untuk dievaluasi, meskipun biasanya sulit untuk dipecahkan”.

Saya ragu untuk membangun program bermain catur yang berkinerja baik berdasarkan arsitektur transformator, namun LLM khusus yang dikombinasikan dengan evaluasi eksternal/program catur mungkin akan segera menjadi pengganti yang baik untuk pelatih catur. DeepMind menciptakan model keren lainnya yang merupakan contoh bagus dalam menggabungkan LLM dan model AI khusus — AlphaGeometry. Ini sangat dekat dengan standar peraih medali emas Olimpiade untuk masalah geometri, memajukan penalaran AI dalam matematika.

6. LLM masih segar, bidangnya masih sangat muda dan terlalu banyak hype yang sering kali didukung oleh kesimpulan yang menyesatkan dan salah. Seperti yang dinyatakan oleh penulis ''Penemuan matematika dari pencarian program dengan model bahasa besar'':

“...sepengetahuan kami, ini menunjukkan penemuan ilmiah pertama — pengetahuan baru yang dapat diverifikasi tentang masalah ilmiah terkenal — menggunakan LLM.” (pratinjau yang dipercepat diterbitkan pada 14 Desember 2023).

7. Klip Joe Rogan dan 2 tamu berjudul ''Saya Tidak Takut AI Sampai Saya Mempelajari Ini'' ditonton oleh 2,8 juta orang di YouTube. Salah satu tamu mengatakan bahwa ChatGPT tahu cara bermain catur dan itu jelas tidak benar. Saya bisa membayangkan bagaimana konten semacam ini memengaruhi orang-orang, terutama orang-orang yang tidak berpendidikan atau tidak stabil secara emosi. Bukan dalam cara yang baik, saya yakin akan hal itu.

Kesimpulannya, ilmu data dan pengembangan perangkat lunak dibangun berdasarkan pengetahuan, presisi, dan pencarian kebenaran. Sebagai ilmuwan dan pengembang data, kita harus menjadi orang yang memiliki kebenaran dan kebijaksanaan, menenangkan kegilaan yang dihasilkan oleh media massa tentang AI, bukan malah memicunya. Transformers, termasuk ChatGPT, memiliki potensi besar dalam tugas bahasa, namun masih sangat jauh dari AGI. Kita harus optimis tetapi benar.

Sebagai pedoman, sebelum menjatuhkan bom, kita harus bertanya pada diri sendiri: Apa yang akan terjadi jika orang lain bertindak berdasarkan pernyataan saya? Dunia seperti apa yang ingin Anda tinggali?

Referensi & Eksplorasi Lebih Lanjut

1. Menguasai Catur dan Shogi dengan Cara Bermain Mandiri dengan Algoritma Pembelajaran Penguatan Umum: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Membuat penemuan baru dalam ilmu matematika menggunakan Model Bahasa Besar: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-bahasa-models/
3. Penemuan matematis dari pencarian program dengan model bahasa besar: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Sistem AI tingkat Olimpiade untuk geometri: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. Saya Tidak Takut dengan AI Sampai Saya Mempelajarinya: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Cara bermain catur melawan ChatGPT (dan mengapa Anda sebaiknya tidak melakukannya): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. Bisakah Ngobrol GPT Main catur?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. Seberapa bagus ChatGPT dalam bermain catur? (Spoiler: Anda akan terkesan): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Menguasai Catur dan Shogi dengan Cara Bermain Mandiri dengan Algoritma Pembelajaran Penguatan Umum: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb telah melakukan coding selama lebih dari empat tahun, dan selama dua tahun terakhir, dia berspesialisasi dalam NLP. Sebelum beralih ke ilmu data, ia sukses di bidang penjualan, SDM, menulis, dan catur.

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster