ChatGPT'nin Yeni Bir Satranç Süper Ustası Olma Potansiyeli Var mı? – KDnuggets

Editörden resim
 

Eski bir satranç oyuncusu (genç şampiyon, ELO 2000+) ve NLP veri bilimcisi olarak, bir süredir bu makaleyi yazmayı planlıyorum.

ChatGPT'nin satranç oynama yeteneğini ilk kez meslektaşlarımdan birinden duydum. Doktora ve çok akıllı bir adam. Bana düşündüğü gibi ChatGPT'ye karşı oynayabileceğiniz web sayfasının bağlantısını gönderdi. Maalesef saf ChatGPT değildi, kaputun altında başka bir satranç motoru vardı. Aldatılmıştı. Yine de buradan deneyebilirsiniz: https://parrotchess.com/

Bu makalenin amacı doğrultusunda ChatGPT'ye karşı 2 oyun oynadım. İşte nasıl başladık:

Olanlara bir bakalım.

Hızlı satranç gösterimi kursu/hatırlatıcısı (atlanabilir):

K = şah, Q = vezir, R = kaya, B = Fil, N = at, 0–0 = Şahın tarafına rok atmak. 0–0–0 = Vezir tarafına rok atmak, x = taşı almak. Piyonlar için, piyonun ele geçirmesi durumu hariç, sadece düştüğü kareyi yazarız. Bu durumda piyonun daha önce bulunduğu karenin harfini, diğer taşı aldıktan sonra da gittiği karenin harfini ve numarasını yazıyoruz. Örneğin exd4.

Nikola Greb, ChatGPT 4'e Karşı, 7 Ocak 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

e5 hamlesine kadar ChatGPT 4 çok iyi bir satranç oyuncusu gibi oynadı. GM gibi diyebiliriz. Ancak kesin olmayan ancak agresif bir hamle yaptığımda (exd5 en iyi hamleydi), ortak zemini kaybetti ve Ae4 oynayan bir piyonun hata yapmasına neden oldu.

Atı atla birlikte aldım (10. Axe4) ve ilk halüsinasyon oluştu:

Fc5 yine bir hataydı, bariz bir hataydı. Oyunun geri kalanının satranç değeri olmadığından özetleyeceğim. ChatGPT 4 beni imkansız hamlelerle suçladı ve oyundan vazgeçmek yerine halüsinasyonlarla (imkansız hamleler önererek) sonuçlandı.

Bakalım siyah taşlarla oynadığım 2. oyunda neler oldu:

Nikola Greb, ChatGPT 4'e (1-9. hamleler) ve ChatGPT 3.5'e (10-12. hamleler) karşı, 7 Ocak 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Aşağıdaki pozisyona kadar Chat GPT 4 çok iyi oynadı ve gerçek bir büyük ustaya (hatta usta adayına) veya satranç motoruna karşı çok hızlı bir şekilde kaybedebileceğim çok daha iyi bir pozisyon oluşturdu. Beyaz Ff6 oynarsa siyah piyonu kaybeder. Ancak ChatGPT Bd3 oynadı:

Ne4 ile yanıt verdim ve ChatGPT, 3.5 sürümüne geçip Bxe4 oynayarak yanıt verdi.

Birkaç hamleden sonra kesin bir avantaja sahip oldum (benim harika bir şey yapmam değil, ChatGPT'nin kötü oynaması nedeniyle) ve rakibimi düzensiz bir hamleyle test etmeye karar verdim. Bu pozisyonda siyah için Ae6'yı önerdim:

ChatGPT 3.5 benim hamlemle hiç ilgilenmedi. Halüsinasyonuma yeni bir halüsinasyonla karşılık verdi:

1. ChatGPT 4 çok zayıf bir satranç oyuncusu, çok tuhaf oynuyor; açılışta çok iyi, sonradan berbat. Bunun nedeni satranç oyunu ilerledikçe seçeneklerin artmasıdır. Genel ELO'sunun 1500'den düşük olduğunu düşünüyorum. 3.5 için de aynısı.

2. Kuralların örtülü olarak öğrenilmesi gerçekleşmedi — Chat GPT 4 hala satrançta halüsinasyon görüyor ve halüsinasyonla ilgili uyarıdan sonra halüsinasyon görmeye devam ediyor. Bu insanın başına gelmeyecek bir şeydir.

3. Daha fazla veri, tekrarlanan ekstra uzun oyunsonları veya olağandışı açılışların oynanma olasılığı gibi uç durumlar nedeniyle sorunu pek çözemez. LLM'ler satranç oynamak için tasarlanmamıştır ve pozisyonu değerlendiremezler. Bunun için zaten AlphaZero ve Stockfish'e sahibiz.

4. Yüksek Lisans'ın satranç oynarken gerçekleştirdiği halüsinasyonların sayısındaki düşüşü takip etmek, Yüksek Lisans'ın mantıksal muhakeme potansiyelini anlamak için iyi bir yol olabilir. Ancak paradoks devam ediyor - LLM satrancın kurallarını "biliyor" ama yine de yoğun bir şekilde halüsinasyon mu görüyor? ML'nin geleceği, kullanıcıyla iletişim kuran ve daha sonra belirli kullanım durumları için ayarlanmış ML mimarilerine sahip özel aracıları çağıran birinci düzey aracı olarak LLM'de olabilir.

5. Yüksek Lisanslar bilimsel araştırmalarda yararlı olma potansiyeline sahiptir ve diğer makine öğrenimi algoritmalarıyla birlikte ilginç düzeyde yaratıcılık gösterir. Son zamanlardaki bir örnek, DeepMind tarafından geliştirilen ve matematikte keşifler yapmak için Yüksek Lisans ve değerlendiriciyi birleştiren FunSearch algoritmasıdır. Pozisyonun değerlendirilmesinin en zor görev olduğu satrancın aksine, matematik bilimlerindeki birçok problemin "çözülmesi genellikle zor olmasına rağmen değerlendirilmesi kolaydır".

Transformatör mimarisine dayalı, iyi performans gösteren bir satranç oynama programı oluşturma konusunda şüpheliyim, ancak harici değerlendirme/satranç programıyla birleştirilmiş uzmanlaşmış LLM, yakında satranç antrenörlerinin yerine iyi bir alternatif olabilir. DeepMind, Yüksek Lisans ile özel bir yapay zeka modeli olan AlphaGeometry'yi birleştirmenin iyi bir örneği olan başka bir harika model yarattı. Geometri problemleri için Olimpiyat altın madalyalı standardına çok yakın olup matematikte yapay zeka muhakemesini ilerletmektedir.

6. Yüksek Lisanslar hala taze, alan çok genç ve çoğu zaman yanıltıcı ve yanlış çıkarımlarla desteklenen çok fazla abartılı reklam var. ''Büyük dil modelleriyle program aramasından elde edilen matematiksel keşifler'' kitabının yazarlarının belirttiği gibi:

"...bildiğimiz kadarıyla bu, yüksek lisans kullanılarak yapılan ilk bilimsel keşfi (kötü şöhretli bir bilimsel problem hakkında yeni bir doğrulanabilir bilgi parçası) gösteriyor." (hızlandırılmış önizleme 14 Aralık 2023'te yayınlandı).

7. Joe Rogan ve 2 konuğun hazırladığı ''Bunu Öğrenene Kadar Yapay Zekadan Korkmuyordum'' başlıklı klibi YouTube'da 2,8 milyon kişi tarafından izlendi. Konuklardan biri ChatGPT'nin nasıl satranç oynanacağını bildiğini söylüyor ki bu kesinlikle gerçek değil. Bu tür içeriklerin insanları, özellikle de eğitimsiz veya duygusal açıdan dengesiz bireyleri nasıl etkilediğini hayal edebiliyorum. İyi anlamda değil, bundan eminim.

Sonuç olarak, veri bilimi ve yazılım geliştirme bilgi, hassasiyet ve gerçeği arama üzerine kuruludur. Veri bilimcileri ve geliştiricileri olarak, kitle iletişim araçlarının yapay zeka hakkında ürettiği çılgınlığı alevlendirmek yerine sakinleştirmeli, gerçeğin ve bilgeliğin insanları olmalıyız. ChatGPT de dahil olmak üzere transformatörler, dil görevlerinde büyük potansiyele sahip ancak yine de AGI'den çok uzaktalar. İyimser ama doğru olmalıyız.

Bir kılavuz olarak, bomba atmadan önce kendimize şu soruyu sormalıyız: Başka biri benim açıklamalarıma göre hareket ederse ne olur? Nasıl bir dünyada yaşamak istiyorsunuz?

Referanslar ve Daha Fazla Araştırma

1. Genel Takviyeli Öğrenme Algoritması ile Kendi Kendine Oynayarak Satranç ve Shogi'de Ustalaşmak: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Büyük Dil Modellerini kullanarak matematik bilimlerinde yeni keşifler yapmak: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. Büyük dil modelleriyle program aramasından elde edilen matematiksel keşifler: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Geometri için Olimpiyat düzeyinde bir yapay zeka sistemi: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. Bunu Öğrenene Kadar Yapay Zekadan Korkmuyordum: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. ChatGPT'ye karşı nasıl satranç oynanır (ve neden muhtemelen oynamamalısınız): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. GPT ile Sohbet Satranç Oynayabilir mi?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. ChatGPT satranç oynamada ne kadar iyi? (Spoiler: etkileneceksiniz): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Genel Takviyeli Öğrenme Algoritması ile Kendi Kendine Oynayarak Satranç ve Shogi'de Ustalaşmak: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb Dört yılı aşkın süredir kodlama yapıyor ve son iki yıldır NLP konusunda uzmanlaştı. Veri bilimine yönelmeden önce satış, İK, yazarlık ve satranç alanlarında başarılıydı.

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster