Semanas después, el modelo de «razonamiento» de Sonnet tiene dificultades con un juego diseñado para niños.
En los últimos meses, los principales impulsores de la industria de la IA han comenzado a converger en la expectativa pública de que estamos al borde de la «inteligencia artificial general» (IAG): agentes virtuales capaces de igualar o superar la comprensión y el rendimiento del «nivel humano» en la mayoría de las tareas cognitivas.
OpenAI está sembrando silenciosamente la expectativa de un agente de IA con «nivel de doctorado» que podría operar de forma autónoma al nivel de un «trabajador del conocimiento con altos ingresos» en un futuro próximo. Elon Musk afirma que «probablemente tendremos una IA más inteligente que cualquier humano» para finales de 2025. El director ejecutivo de Anthropic, Dario Amodei, cree que podría tardar un poco más, pero también afirma que es plausible que la IA sea «mejor que los humanos en casi todo» para finales de 2027.
El mes pasado, Anthropic presentó su experimento «Claude juega Pokémon» como un punto de referencia en el camino hacia ese futuro predicho de la IA general. Se trata de un proyecto que, según la compañía, muestra «vislumbres de sistemas de IA que abordan desafíos con una competencia creciente, no solo mediante entrenamiento, sino con razonamiento generalizado». Anthropic acaparó titulares al pregonar cómo las «capacidades de razonamiento mejoradas» de Claude 3.7 Sonnet permitieron que el último modelo de la compañía avanzara en el popular juego de rol clásico de Game Boy de maneras «que los modelos anteriores tenían pocas esperanzas de lograr». Mientras que los modelos de Claude de hace tan solo un año tenían dificultades incluso para salir de la zona inicial del juego, Claude 3.7 Sonnet logró progresar al conseguir múltiples Medallas de Gimnasio en un número relativamente pequeño de acciones. Este avance, según Anthropic, se debe a que el «pensamiento extendido» de Claude 3.7 Sonnet significa que el nuevo modelo «planifica con antelación, recuerda sus objetivos y se adapta cuando las estrategias iniciales fallan» de una forma que sus predecesores no lo hicieron. Estas cualidades, presume Anthropic, son «habilidades cruciales para luchar contra líderes de gimnasio pixelados. Y, según afirmamos, también para resolver problemas del mundo real».
Pero el éxito relativo con respecto a los modelos anteriores no es lo mismo que el éxito absoluto con el juego en su totalidad. En las semanas transcurridas desde que Claude Plays Pokémon se hizo público, miles de espectadores de Twitch han visto a Claude luchar por progresar de forma constante en el juego. A pesar de las largas pausas de reflexión entre cada movimiento —durante las cuales los espectadores pueden leer impresiones del proceso de razonamiento simulado del sistema—, Claude a menudo se encuentra revisitando inútilmente pueblos completados, quedándose atascado en rincones ciegos del mapa durante largos periodos o hablando infructuosamente con el mismo PNJ inútil una y otra vez, por citar solo algunos ejemplos de un rendimiento claramente infrahumano en el juego.
Al ver a Claude seguir teniendo dificultades en un juego diseñado para niños, es difícil imaginar que estemos presenciando el surgimiento de algún tipo de superinteligencia informática. Pero incluso el nivel infrahumano actual de Claude en Pokémon podría ofrecer lecciones importantes para la búsqueda de una inteligencia artificial generalizada, similar a la humana.
Inteligente en diferentes aspectos
En cierto sentido, es impresionante que Claude pueda jugar a Pokémon con alguna facilidad. Al desarrollar sistemas de IA que identifican estrategias dominantes en juegos como Go y Dota 2, los ingenieros suelen empezar sus algoritmos con un profundo conocimiento de las reglas o estrategias básicas del juego, así como una función de recompensa que los guía hacia un mejor rendimiento. Sin embargo, para Claude Plays Pokémon, David Hershey, desarrollador del proyecto y empleado de Anthropic, afirma que comenzó con un modelo de Claude generalizado y sin modificar, que no fue entrenado ni optimizado específicamente para jugar a Pokémon.
«Esto se debe únicamente a las diversas otras cosas que [Claude] entiende sobre el mundo que se utilizan para señalar videojuegos», declaró Hershey a Ars. «Así que tiene una idea de Pokémon. Si vas a claude.ai y preguntas sobre Pokémon, sabe qué Pokémon es basándose en lo que lee… Si preguntas, te dirá que hay ocho medallas de gimnasio, te dirá que la primera es Brock… conoce la estructura general».
Además de monitorear directamente ciertas direcciones RAM clave (emuladas) de Game Boy para obtener información sobre el estado del juego, Claude visualiza e interpreta la salida visual del juego de forma muy similar a como lo haría un humano. Sin embargo, a pesar de los recientes avances en el procesamiento de imágenes con IA, Hershey afirmó que Claude aún tiene dificultades para interpretar el mundo pixelado y de baja resolución de una captura de pantalla de Game Boy tan bien como un humano. «Claude todavía no es particularmente bueno entendiendo lo que hay en la pantalla», afirmó. «Lo verás intentar chocar contra las paredes constantemente».
Hershey indicó que sospecha que los datos de entrenamiento de Claude probablemente no contienen muchas descripciones textuales excesivamente detalladas de «cosas que parecen una pantalla de Game Boy». Esto significa que, sorprendentemente, si Claude estuviera jugando a un juego con «imágenes más realistas, creo que podría ver mucho mejor», afirmó Hershey.
«Es una de esas cosas curiosas de los humanos que podemos entrecerrar los ojos ante estas manchas de ocho por ocho píxeles y decir: ‘Esa es una chica con el pelo azul'».
