Onko ChatGPT:llä potentiaalia tulla uudeksi shakin supersuurmestariksi? – KDnuggets

Kuva editorista
 

Kiinteänä entisenä shakinpelaajana (juniorimestari, ELO 2000+) ja NLP-tietotieteilijänä olen suunnitellut tämän artikkelin kirjoittamista jo jonkin aikaa.

Ensimmäisen kerran kuulin ChatGPT:n kyvystä pelata shakkia yhdeltä kollegaltani. Ph.D. ja erittäin fiksu mies. Hän lähetti minulle linkin verkkosivulle, jolla voit pelata ChatGPT:tä vastaan, kuten hän ajatteli. Valitettavasti se ei ollut puhdas ChatGPT, se oli jokin muu shakkimoottori konepellin alla. Häntä petettiin. Voit silti kokeilla sitä täällä: https://parrotchess.com/

Tätä artikkelia varten pelasin 2 peliä ChatGPT:tä vastaan. Näin aloitimme:

Katsotaanpa, mitä tapahtui.

Nopea shakin nuotinkirjoituskurssi / muistutus (voidaan ohittaa):

K = kuningas, Q = kuningatar, R = kallio, B = piispa, N = ritari, 0–0 = linnan kuninkaan puoli. 0–0–0 = Castling kuningattaren puoli, x = nappulan ottaminen. Sotilaita varten kirjoitamme vain neliön, johon se laskeutuu, paitsi silloin, kun sotilas nappaa. Siinä tapauksessa kirjoitetaan sen ruudun kirjain, jossa sotilas oli ennen, ja sen ruudun kirjain ja numero, jolle se menee toisen nappulan ottamisen jälkeen. Esimerkiksi exd4.

Nikola Greb vs. ChatGPT 4, 7. tammikuuta 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Siirtoon e5 asti ChatGPT 4 pelasi kuin erittäin hyvä shakinpelaaja. Voimme sanoa kuten GM. Mutta kun pelasin epätarkan, mutta aggressiivisen liikkeen (exd5 oli paras siirto), se menetti yhteisen sävelen ja sekoitti pelinappulan, joka pelasi Ne4:ää.

Otin ritarin ritarin kanssa (10. Nxe4) ja ensimmäinen hallusinaatio tapahtui:

Bc5 oli jälleen virhe, ilmeinen virhe. Koska muulla pelillä ei ole shakkiarvoa, teen sen yhteenvedon. ChatGPT 4 syytti minua mahdottomista liikkeistä ja päätyi hallusinaatioihin (ehdotti mahdottomia liikkeitä) sen sijaan, että olisin luopunut pelistä.

Katsotaan mitä tapahtui pelissä 2, jossa pelasin mustia nappuloita:

Nikola Greb vastaan ​​ChatGPT 4 (siirrot 1–9) ja ChatGPT 3.5 (siirrot 10–12), 7. tammikuuta 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Alla olevaan sijoitukseen asti Chat GPT 4 pelasi erittäin hyvin ja rakensi huomattavasti paremman aseman, josta häviäisin hyvin nopeasti todellista suurmestaria (jopa mestariehdokasta) tai shakkimoottoria vastaan. Jos valkoinen pelaa Bf6:ta, musta menettää pelinappulan. Silti ChatGPT pelasi Bd3:n:

Vastasin Ne4:llä, ja ChatGPT vastasi vaihtamalla versioon 3.5 ja pelaamalla Bxe4:ää.

Muutaman liikkeen jälkeen minulla oli ratkaiseva etu (johtuen ChatGPT:n huonosta pelistä, enkä siitä, että tein jotain hienoa), joten päätin testata vastustajaa epäsäännöllisellä liikkeellä. Ehdotin Ne6:ta mustalle tässä asennossa:

ChatGPT 3.5 ei ollut kiinnostunut siirrostani ollenkaan. Hallusinaatioihini se vastasi uudella hallusinaatiolla:

1. ChatGPT 4 on erittäin heikko shakinpelaaja, joka pelaa hyvin oudosti - erittäin hyvä alussa ja kauhea myöhemmin. Tämä johtuu vaihtoehtojen lisääntymisestä shakkipelin edetessä. Arvioisin hänen kokonais-ELO:n olevan alle 1500. Sama 3.5.

2. Sääntöjen implisiittistä oppimista ei tapahtunut – Chat GPT 4 hallusinoi edelleen shakissa ja jatkaa hallusinaatioita hallusinaatiovaroituksen jälkeen. Tämä on jotain mitä ei voi tapahtua ihmiselle.

3. Enemmän dataa tuskin ratkaisisi ongelma, koska reunatapaukset, kuten erikoispitkät toistot sisältävät loppupelit tai mahdollisuus pelata epätavallisia avauksia. LLM:itä ei yksinkertaisesti ole rakennettu shakin pelaamiseen, eivätkä ne pysty arvioimaan asemaa. Meillä on jo AlphaZero ja Stockfish sitä varten.

4. LLM:ien shakinpelaamisen harjoittamien hallusinaatioiden vähenemisen seuraaminen saattaa olla hyvä tapa ymmärtää LLM:ien potentiaalia loogiseen päättelyyn. Mutta paradoksi säilyy - LLM "tietää" shakin säännöt, mutta silti hallusinoi voimakkaasti? ML:n tulevaisuus saattaa olla LLM:ssä ensimmäisen tason agenttina, joka kommunikoi käyttäjälle ja kutsuu sitten erikoisagentteja, joiden ML-arkkitehtuurit on mukautettu tiettyihin käyttötapauksiin.

5. LLM:t voivat olla hyödyllisiä tieteellisessä tutkimuksessa ja osoittavat mielenkiintoista luovuutta yhdistettynä muihin koneoppimisalgoritmeihin. Tuore esimerkki on DeepMindin kehittämä FunSearch-algoritmi, joka yhdistää LLM:n ja arvioijan tehdäkseen löytöjä matematiikassa. Toisin kuin shakissa, jossa paikan arviointi on vaikein tehtävä, monet matemaattisten tieteiden ongelmat ovat "helppo arvioida, vaikka ne ovat tyypillisesti vaikeita ratkaista".

Suhtaudun skeptisesti hyvin toimivan muuntaja-arkkitehtuuriin perustuvan shakinpeliohjelman rakentamiseen, mutta erikoistunut LLM yhdistettynä ulkoiseen arviointi-/shakkiohjelmaan saattaa pian olla hyvä korvike shakkikouluttajille. DeepMind loi toisen hienon mallin, joka on hyvä esimerkki LLM:n ja erikoistuneen AI-mallin - AlphaGeometry - yhdistämisestä. Se on hyvin lähellä olympialaisten kultamitalististandardia geometriatehtävissä, mikä edistää tekoälyn päättelyä matematiikassa.

6. LLM:t ovat vielä tuoreita, ala on hyvin nuori ja siellä on liikaa hypeä, jota usein tukevat harhaanjohtavat ja väärät johtopäätökset. Kuten "Matemaattisia löytöjä ohjelmahausta suurilla kielimalleilla" kirjoittajat toteavat:

"Parhaan tietomme mukaan tämä on ensimmäinen tieteellinen löytö - uusi todennettavissa oleva tieto pahamaineisesta tieteellisestä ongelmasta - LLM:n avulla." (nopeutettu esikatselu julkaistiin 14. joulukuuta 2023).

7. Joe Roganin ja 2 vieraan videon, jonka otsikkona on ''I Wasn't Afraid of AI Until I Learned This'', katsoi 2,8 miljoonaa ihmistä YouTubessa. Yksi vieraista sanoo, että ChatGPT osaa pelata shakkia, mikä ei tietenkään ole totuus. Voin vain kuvitella, kuinka tällainen sisältö vaikuttaa ihmisiin, erityisesti kouluttamattomiin tai emotionaalisesti epävakaisiin yksilöihin. Ei hyvällä tavalla, olen varma siitä.

Yhteenvetona voidaan todeta, että datatiede ja ohjelmistokehitys perustuu tietoon, tarkkuuteen ja totuuden etsimiseen. Tietojen tutkijoina ja kehittäjinä meidän pitäisi olla totuuden ja viisauden ihmisiä, rauhoittaa massamedian tuottamaa hulluutta tekoälystä, ei sytyttää sitä. Transformerilla, mukaan lukien ChatGPT, on suuri potentiaali kielitehtävissä, mutta ne ovat edelleen hyvin kaukana AGI:sta. Meidän tulee olla optimistisia, mutta oikeassa.

Ennen kuin pudotamme pommeja, meidän tulisi kysyä itseltämme ohjenuorana: Mitä tapahtuisi, jos joku muu toimisi lausuntojeni perusteella? Millaisessa maailmassa haluat elää?

Referenssit ja lisäselvityksiä

1. Shakin ja shogin hallitseminen itsepelaamalla yleisen vahvistusoppimisalgoritmin avulla: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Uusien löytöjen tekeminen matemaattisissa tieteissä suurten kielimallien avulla: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. Matemaattiset löydöt ohjelmahausta suurilla kielimalleilla: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: Olympiad-tason AI-järjestelmä geometrialle: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. En pelännyt tekoälyä ennen kuin opin tämän: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Kuinka pelata shakkia ChatGPT:tä vastaan ​​(ja miksi sinun ei todennäköisesti pitäisi): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. Voiko Chat GPT pelata shakkia?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. Kuinka hyvä ChatGPT pelaa shakkia? (Spoileri: tulet vaikuttumaan): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Shakin ja shogin hallitseminen itsepelaamalla yleisen vahvistusoppimisalgoritmin avulla: https://arxiv.org/pdf/1712.01815.pdf

Nikola Greb on koodannut yli neljä vuotta, ja viimeiset kaksi vuotta hän on erikoistunut NLP:hen. Ennen kuin hän siirtyi datatieteeseen, hän menestyi myynnissä, HR:ssä, kirjoittamisessa ja shakissa.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster