¿Tiene ChatGPT el potencial para convertirse en un nuevo súper gran maestro de ajedrez? – KDnuggets

Imagen del editor
 

Como sólido ex jugador de ajedrez (campeón junior, ELO 2000+) y científico de datos de PNL, he estado planeando escribir este artículo por un tiempo.

La primera vez que escuché sobre la capacidad de ChatGPT para jugar ajedrez fue a través de uno de mis colegas. Doctor. y un tipo muy inteligente. Me envió el enlace a la página web donde puedes jugar contra ChatGPT como él pensaba. Desafortunadamente, no era ChatGPT puro, era otro motor de ajedrez oculto. Fue engañado. Todavía puedes probarlo aquí: https://parrotchess.com/

A los efectos de este artículo, jugué 2 juegos contra ChatGPT. Así es como empezamos:

Echemos un vistazo a lo que pasó.

Curso / recordatorio rápido de notación de ajedrez (se puede omitir):

K = rey, Q = reina, R = roca, B = alfil, N = caballo, 0–0 = enroque en el flanco del rey. 0–0–0 = enroque por el lado de la dama, x = tomar la pieza. Para los peones, simplemente escribimos la casilla en la que aterriza, excepto cuando el peón captura. En ese caso, escribimos la letra de la casilla donde estaba antes el peón, y la letra y el número de la casilla a la que va después de coger la otra pieza. Por ejemplo, exd4.

Nikola Greb vs ChatGPT 4, el 7 de enero de 2024

1. e4 e5 2. Nf3 Nc6 3. d4 exd4 4. Nxd4 Nf6 5. Nc3 Bb4 6. Nxc6 bxc6 7. Bd3 O-O 8.
O-O d5 9. e5 Ne4 10. Nxe4 Bc5 11. Nxc5 Qe7 12. Qh5 g6 13. Qh6 f6 14. exf6 Qxf6
15. Bg5 Qf7 16. Rae1 Bf5 17. Re7 Qxe7 18. Bxe7 Rae8 19. Bxf8 Rxf8 20. Bxf5 Rf7
21. Re1 1-0

Hasta el movimiento e5, ChatGPT 4 jugaba como un muy buen jugador de ajedrez. Podemos decir como GM. Pero cuando realicé una jugada imprecisa pero agresiva (exd5 fue la mejor jugada), perdí el terreno común y cometí un error en un peón que jugaba Ce4.

Tomé el caballo con el caballo (10. Cxe4) y ocurrió la primera alucinación:

Ac5 fue nuevamente un error, un error garrafal evidente. Como el resto del juego no tiene valor ajedrecístico, lo resumiré. ChatGPT 4 me acusó de movimientos imposibles y terminó en alucinaciones (proponiendo movimientos imposibles), en lugar de abandonar el juego.

Veamos qué pasó en la partida 2, donde jugué piezas negras:

Nikola Greb contra ChatGPT 4 (movimientos 1 a 9) y ChatGPT 3.5 (movimientos 10 a 12), el 7 de enero de 2024

1. e4 c5 2. Nf3 Nc6 3. d4 cxd4 4. Nxd4 e5 5. Nb5 d6 6. c4 f5 7. N1c3 Nf6 8. Bg5 Be7 9. Bd3 Nxe4 10. Bxe4 fxe4 11. Nxe4 Bxg5 12. Nec3 0–1

Hasta la posición inferior, Chat GPT 4 jugó muy bien, construyendo una posición significativamente mejor desde la cual perdería muy rápidamente contra un gran maestro real (incluso el candidato a maestro) o un motor de ajedrez. Si las blancas juegan Af6, las negras pierden el peón. Sin embargo, ChatGPT jugó Ad3:

Respondí con Ce4 y ChatGPT respondió cambiando a la versión 3.5 y jugando Axe4.

Después de algunos movimientos, tenía una ventaja decisiva (debido a que ChatGPT jugó mal, no a que yo hiciera algo grandioso), así que decidí probar al oponente con un movimiento irregular. Propuse Ce6 para las negras en esta posición:

A ChatGPT 3.5 no le preocupó en absoluto mi movimiento. A mi alucinación, respondió con la nueva alucinación:

1. ChatGPT 4 es un jugador de ajedrez muy débil, que juega de manera muy extraña: muy bien al principio y terrible después. Esto se debe al creciente número de opciones a medida que avanza el juego de ajedrez. Calificaría su ELO general como inferior a 1500. Lo mismo para 3.5.

2. No se produjo ningún aprendizaje implícito de las reglas: Chat GPT 4 todavía alucina en el ajedrez y sigue alucinando después de la advertencia sobre la alucinación. Esto es algo que no le puede pasar al ser humano.

3. Más datos difícilmente resolverían el problema debido a los casos extremos como finales extra largos con repetición o la posibilidad de jugar aperturas inusuales. Los LLM simplemente no están diseñados para jugar al ajedrez ni pueden evaluar la posición. Ya tenemos AlphaZero y Stockfish para eso.

4. Hacer un seguimiento de la caída en el número de alucinaciones que realizan los LLM al jugar al ajedrez podría ser un buen camino para comprender el potencial de los LLM para el razonamiento lógico. Pero la paradoja persiste: ¿LLM “conoce” las reglas del ajedrez, pero alucina intensamente? El futuro del ML podría estar en LLM como el agente de primer nivel que se comunica con el usuario y luego llama a agentes especializados con arquitecturas de ML ajustadas para casos de uso particulares.

5. Los LLM tienen el potencial de ser útiles en la investigación científica y muestran un nivel interesante de creatividad combinado con otros algoritmos de aprendizaje automático. Un ejemplo reciente es el algoritmo FunSearch desarrollado por DeepMind que combina LLM y evaluador para hacer descubrimientos en matemáticas. A diferencia del ajedrez, donde la evaluación de la posición es la tarea más difícil, muchos problemas en las ciencias matemáticas son “fáciles de evaluar, a pesar de ser típicamente difíciles de resolver”.

Soy escéptico acerca de la creación de un programa de juego de ajedrez de buen rendimiento basado en la arquitectura de transformadores, sin embargo, un LLM especializado combinado con una evaluación externa/un programa de ajedrez podría ser un buen sustituto para los entrenadores de ajedrez pronto. DeepMind creó otro modelo interesante que es un buen ejemplo de combinación de LLM y un modelo de IA especializado: AlphaGeometry. Está muy cerca del estándar de la medalla de oro de la Olimpiada para problemas de geometría, lo que hace avanzar el razonamiento de la IA en matemáticas.

6. Los LLM aún son nuevos, el campo es muy joven y hay demasiada publicidad que a menudo está respaldada por conclusiones engañosas y erróneas. Como afirman los autores de ''Descubrimientos matemáticos a partir de la búsqueda de programas con grandes modelos de lenguaje'':

"...hasta donde sabemos, esto muestra el primer descubrimiento científico, una nueva pieza de conocimiento verificable sobre un problema científico notorio, utilizando un LLM". (La vista previa acelerada se publicó el 14 de diciembre de 2023).

7. El clip de Joe Rogan y 2 invitados, titulado "No tenía miedo de la IA hasta que aprendí esto", fue visto por 2,8 millones de personas en YouTube. Uno de los invitados dice que ChatGPT sabe jugar al ajedrez, lo cual obviamente no es cierto. Me imagino cómo este tipo de contenido influye en las personas, especialmente en las personas sin educación o emocionalmente inestables. No en el buen sentido, estoy seguro.

En conclusión, la ciencia de datos y el desarrollo de software se basan en el conocimiento, la precisión y la búsqueda de la verdad. Como científicos y desarrolladores de datos, deberíamos ser personas de verdad y sabiduría, calmando la locura producida por los medios de comunicación sobre la IA, no incendiándola. Los transformadores, incluido ChatGPT, tienen un gran potencial en tareas lingüísticas, pero todavía están muy lejos de AGI. Debemos ser optimistas pero correctos.

Como pauta, antes de lanzar bombas, deberíamos preguntarnos: ¿Qué pasaría si alguien más actuara según mis declaraciones? ¿En qué tipo de mundo quieres vivir?

Referencias y exploración adicional

1. Dominar el ajedrez y el shogi jugando por cuenta propia con un algoritmo de aprendizaje por refuerzo general: https://arxiv.org/pdf/1712.01815.pdf
2. FunSearch: Realizar nuevos descubrimientos en ciencias matemáticas utilizando modelos de lenguaje grandes: https://deepmind.google/discover/blog/funsearch-making-new-discoveries-in-mathematical-sciences-using-large-language-models/
3. Descubrimientos matemáticos de la búsqueda de programas con modelos de lenguaje grandes: https://www.nature.com/articles/s41586-023-06924-6
4. AlphaGeometry: un sistema de inteligencia artificial de nivel olímpico para geometría: https://deepmind.google/discover/blog/alphageometry-an-olympiad-level-ai-system-for-geometry/
5. No le tenía miedo a la IA hasta que aprendí esto: https://www.youtube.com/watch?v=2yd18z6iSyk&ab_channel=JREDailyClips
6. Cómo jugar ajedrez contra ChatGPT (y por qué probablemente no deberías hacerlo): https://www.androidauthority.com/how-to-play-chess-with-chatgpt-3330016/
7. ¿Chat GPT puede jugar ajedrez?: https://towardsdatascience.com/can-chat-gpt-play-chess-4c44210d43e4
8. ¿Qué tan bueno es ChatGPT jugando al ajedrez? (Spoiler: quedarás impresionado): https://medium.com/@ivanreznikov/how-good-is-chatgpt-at-playing-chess-spoiler-youll-be-impressed-35b2d3ac024a
9. Full conversation with ChatGPT: https://chat.openai.com/share/a1ff82b5-6210-4f7b-807c-220052de232c
10. Dominar el ajedrez y el shogi jugando por cuenta propia con un algoritmo de aprendizaje por refuerzo general: https://arxiv.org/pdf/1712.01815.pdf

nikola greb Ha estado codificando durante más de cuatro años y durante los últimos dos años se especializó en PNL. Antes de dedicarse a la ciencia de datos, tuvo éxito en ventas, recursos humanos, redacción y ajedrez.

• Distribución de relaciones públicas y contenido potenciado por SEO. Consiga amplificado hoy.
• PlatoData.Network Vertical Generativo Ai. Empodérate. Accede Aquí.
• PlatoAiStream. Inteligencia Web3. Conocimiento amplificado. Accede Aquí.
• PlatoESG. Carbón, tecnología limpia, Energía, Ambiente, Solar, Gestión de residuos. Accede Aquí.
• PlatoSalud. Inteligencia en Biotecnología y Ensayos Clínicos. Accede Aquí.
• Fuente: https://www.kdnuggets.com/does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster?utm_source=rss&utm_medium=rss&utm_campaign=does-chatgpt-have-the-potential-to-become-a-new-chess-super-grandmaster