Un rompecabezas japonés ha vencido a la inteligencia artificial. La máquina es completamente incapaz de resolverlo.

Los rompecabezas numéricos han sido un pasatiempo conocido durante milenios: surgieron por primera vez en la antigua China y empezaron a aparecer en los periódicos a finales del siglo XIX. Hace unos 20 años, el Sudoku se popularizó mundialmente; un rompecabezas publicado por primera vez en 1986 en la revista japonesa "Nicoli". Hoy en día, el juego cuenta con millones de seguidores en todo el mundo, y aproximadamente 200 millones de usuarios han descargado varias versiones de la aplicación móvil.

El sudoku consiste en rellenar con números las casillas vacías de una cuadrícula de 9x9. Cada fila, columna y casilla de 3x3 (el llamado bloque numérico) en que se divide la cuadrícula debe contener un dígito del 1 al 9, y ningún dígito puede repetirse. Matemáticos de la Universidad de Sheffield (Reino Unido) demostraron en 2005 que existen aproximadamente 6 cuatrillones de cuadrículas de sudoku válidas (6 x 10 elevado a la 21). Existen otras versiones del juego; por ejemplo, una cuadrícula de 6x6 debe rellenarse con los dígitos del 1 al 6.

Ahora, resulta que el Sudoku representa un desafío para la inteligencia artificial. Si bien la IA está logrando enormes avances, entre otras cosas, en el análisis de grandes conjuntos de datos, la generación de texto, imágenes y vídeos, y la traducción, las tareas lógicas son su punto débil. Esto fue confirmado por investigadores de la Universidad de Colorado en Boulder (EE. UU.) , cuyo artículo sobre el tema apareció en la "Antología ACL", una colección de más de 110 000 artículos recopilados por la Asociación de Lingüística Computacional (ACL).

Como dijo el autor principal del artículo, el experto en informática y aprendizaje automático Anirudh Maiya, resolver el Sudoku tiene varios elementos importantes.

"Hay que avanzar paso a paso, reevaluar constantemente los campos numéricos y seguir las reglas con constancia. Rompecabezas como estos son divertidos, pero también ofrecen un microcosmos ideal para estudiar el proceso de toma de decisiones en el aprendizaje automático", explicó el experto.

Para el estudio, Maiya y su equipo crearon 2300 sudokus de diversa dificultad en una cuadrícula de 6x6. Posteriormente, los investigadores los asignaron a varios modelos de lenguaje grandes (LLM), incluyendo o1, Llama-3.1, Gemma-2 y Mistral, para resolverlos.

El experimento demostró que la tarea era demasiado difícil para todos los modelos de IA : solo lograron resolver el 0,4 % de los acertijos. Los investigadores atribuyen esto a que la IA no piensa lógicamente, sino que determina soluciones basándose en la probabilidad. Por lo tanto, las tareas basadas en reglas y razonamiento le resultan difíciles.

- Los modelos de inteligencia artificial tienen dificultades para tener en cuenta simultáneamente todos los factores limitantes de una cuadrícula numérica - explicaron los autores del artículo.

Entre los sujetos de LLM, o1 obtuvo el mejor rendimiento, resolviendo aproximadamente el 65 % de los sudokus. Sin embargo, a medida que aumentaba la dificultad de los sudokus, su tasa de éxito también disminuía.

Surgieron aún más problemas cuando los investigadores pidieron a la IA que explicara cómo había llegado a la solución del rompecabezas. De todos los modelos probados, solo el 5 % de las veces logró justificar correctamente la introducción de números específicos. A menudo, las respuestas eran incorrectas o poco claras.

- Por ejemplo, la IA dijo: no puede haber un dos aquí porque ya hay un dos en esta fila, lo cual no era cierto - dijo el coautor del estudio, el Dr. Ashutosh Trivedi.

Añadió que, en algunas situaciones, la IA ignoraba las combinaciones numéricas del tablero o daba explicaciones absurdas. En uno de esos casos, durante una conversación sobre sudoku, uno de los modelos ofreció repentinamente un pronóstico del tiempo.

“La IA estaba completamente confundida y reaccionó de forma extraña”, dijo el Dr. Trivedi.

Según los autores, los resultados del estudio muestran que, a pesar de los impresionantes logros de la inteligencia artificial, no se puede confiar plenamente en ella, especialmente en tareas que requieren un razonamiento preciso.

"Mucha gente habla de modelos de IA que desarrollan nuevas habilidades inesperadas. Sin embargo, no es sorprendente que aún presenten un rendimiento deficiente en muchas tareas", concluyó Anirudh Maiya.