Investigadores del MIT afirman que GPT-6 Astra elevó las puntuaciones de Qwen en matemáticas al editar directamente sus pesos

Un pequeño ajuste numérico produjo un gran aumento en la puntuación

Investigadores del Laboratorio de Ciencias de la Computación e Inteligencia Artificial del MIT afirman que GPT-6 Astra, de OpenAI, elevó la puntuación en matemáticas de un pequeño modelo Qwen del 7,9 % al 48,1 % al cambiar solo 131.072 de sus aproximadamente 800 millones de parámetros numéricos. La intervención abordó un fallo concreto: el modelo generaba texto una y otra vez hasta quedarse sin espacio para responder.

Rikiya Takehi, Jayden Teoh, Alex Zhang y Omar Khattab describieron los experimentos en una publicación de investigación del 2 de noviembre titulada Sparks of Weight-Space Programming, seguida de una cobertura fechada el 3 de noviembre de 2026. Su método pide a un modelo de lenguaje que inspeccione, interprete y reescriba directamente los pesos de otra red neuronal, es decir, los números que determinan cómo procesa la información.

El resultado más destacado se obtuvo con Qwen3.5-0.8B. Su precisión en MATH-500 aumentó 40,2 puntos porcentuales, es decir, unas seis veces su puntuación inicial, después de que Astra modificara aproximadamente el 0,016 % de sus pesos. La precisión en las preguntas de matemáticas de GSM8K pasó del 13,8 % al 67,1 %, mientras que su puntuación en seguimiento de instrucciones en IFEval subió del 21,0 % al 62,3 %, casi el triple del resultado inicial.

Los experimentos fueron más allá de las matemáticas. Astra identificó las funciones de redes pequeñas, reparó un controlador de conducción simulado y creó redes para jugar a partir de reglas y código fuente. Otras pruebas pusieron de manifiesto sus límites: tuvo dificultades para identificar, basándose únicamente en los pesos, una tendencia a dar excesivamente la razón a los usuarios, y sus modificaciones apenas mejoraron el rendimiento matemático de otro modelo de lenguaje.

Para los desarrolladores, la posibilidad más inmediata es una nueva forma de reparar modelos. En vez de enseñar a una red mediante otra ronda de entrenamiento convencional, un asistente de IA podría investigar un fallo y modificar la maquinaria numérica que lo provoca. El resultado de Qwen también muestra por qué la naturaleza del fallo importa tanto como el aumento de la puntuación.

¿Qué significa realmente programar los pesos?

Una red neuronal transforma las entradas en salidas mediante capas de cálculos. Sus pesos controlan la intensidad con la que las señales pasan de un componente a otro. El entrenamiento suele ajustar esos números repetidamente, usando ejemplos y una medida matemática del error para decidir qué cambios son útiles.

El descenso del gradiente es una forma habitual de calcular esos ajustes. Estima en qué dirección deben moverse los pesos para reducir los errores. En estos experimentos, Astra razonó sobre la red objetivo y escribió los cambios por sí misma, sin un ciclo de entrenamiento que los calculara.

Takehi, estudiante de doctorado en el CSAIL del MIT, describió el flujo de trabajo propuesto en una publicación en redes sociales:

«En lugar de entrenar modelos, estos podrían tratar los pesos sin procesar como código legible y editable: diagnosticar fallos y corregirlos directamente».

La comparación con la reparación de software resulta útil. Un programador que investigue una aplicación averiada podría localizar una función defectuosa y reescribirla. En este caso, Astra buscó en estructuras numéricas un patrón vinculado al comportamiento no deseado. Los pesos de una red neuronal son más difíciles de interpretar que el software convencional porque normalmente no tienen nombres comprensibles para las personas que expliquen su función.

Los experimentos ofrecieron distintos niveles de asistencia. En algunos casos, Astra recibió únicamente los pesos y una descripción de la arquitectura. En otros, dispuso de un entorno de Python, ejemplos o permiso para ejecutar el modelo objetivo. En el caso de Qwen, prescindir del entrenamiento convencional no evitó que se necesitaran muchos cálculos, preguntas de práctica y pruebas.

Cómo Astra logró que Qwen dejara de repetirse

El comportamiento inicial de Qwen ofreció a Astra un problema inusualmente claro para investigar. En un primer lote de 96 preguntas, 85 respuestas llegaron al límite máximo de salida de 32.768 tokens. Los tokens son las unidades de texto que un modelo de lenguaje lee y produce, a menudo palabras o partes de palabras. Cerca del 95 % de esas respuestas truncadas terminaban en una repetición.

La evaluación general de MATH-500 mostró el mismo problema: el 93,0 % de las respuestas de referencia alcanzó el límite de tokens. Astra atribuyó el comportamiento repetitivo a una dirección numérica asociada con las salidas de componentes de propagación hacia delante en las capas 15 y 19. Estos componentes, a menudo llamados perceptrones multicapa o MLP, transforman la información dentro de cada capa.

Una dirección numérica es un patrón distribuido entre muchos valores, no un único interruptor. Astra restó de 64 columnas de salida de cada una de las dos capas la dirección asociada con la repetición. El cambio afectó a 131.072 pesos y redujo al 33,1 % la proporción de respuestas de MATH-500 que llegaban al límite de tokens.

El patrón de respuestas corregidas ayuda a explicar la mejora. De un total de 1.152 preguntas reservadas, 579 respuestas pasaron de incorrectas a correctas, mientras que cinco pasaron de correctas a incorrectas. De las 579 mejoras, 576 habían sido truncadas originalmente al alcanzar el límite de salida. Por tanto, la mayoría de los avances se produjo cuando el modelo modificado completó respuestas que antes había interrumpido la repetición.

Aproximadamente un tercio de las respuestas de MATH-500 seguía agotando el límite de salida después del ajuste. La red modificada fue mucho más útil en las condiciones de la prueba, pero la repetición seguía siendo un problema importante.

Encontrar el ajuste requirió horas de investigación

En su intento más exitoso con Qwen, Astra contó con un presupuesto de 50 solicitudes de evaluación, cada una de las cuales podía abarcar cientos de ejemplos. La investigación incluyó 158 turnos de conversación, 80 ejecuciones de Python y 20,3 horas, de las que 4,7 se dedicaron a esperar durante una interrupción del servicio.

El entorno de trabajo incluía más de 14.000 preguntas de práctica de los conjuntos de entrenamiento GSM8K y MATH, acceso a los pesos de Qwen y un entorno aislado de Python que funcionaba con CPU. El entorno permitía ejecutar código hasta 300 veces. Otros intentos utilizaron presupuestos de 10 o 25 solicitudes de evaluación.

Las cifras de precisión publicadas corresponden también a una configuración de generación específica. Las evaluaciones utilizaron el modo de razonamiento, un límite de salida de 32.768 tokens y una temperatura de 0,6. La temperatura controla cuánta aleatoriedad interviene en la elección del siguiente token; la ficha del modelo recomienda una temperatura de 1,0 para tareas de texto en modo de razonamiento. Esta diferencia importa al reproducir el comportamiento inicial y comparar resultados.

La secuencia práctica fue la siguiente:

• Los investigadores proporcionaron a Astra el modelo objetivo, problemas de práctica y herramientas para inspeccionar los pesos y probar el comportamiento.
• Astra investigó las salidas repetitivas y desarrolló una modificación específica para las capas 15 y 19.
• La evaluación midió las mejoras en matemáticas y seguimiento de instrucciones, junto con la reducción de respuestas que alcanzaban el límite de salida.
• El equipo describió el trabajo el 2 de noviembre y dijo que estaba desarrollando una prueba de referencia y un marco de pruebas.

La modificación final fue pequeña, pero encontrarla exigió un proceso mucho más amplio. Aún no está claro, desde el punto de vista práctico, si este método ahorra tiempo o recursos informáticos frente al ajuste fino convencional.

Interpretar juegos, formas y lenguaje a partir de números

Las pruebas de inspección de Astra empezaron con cuatro redes para jugar, entrenadas con optimización de políticas próximas, o PPO, un método de aprendizaje por refuerzo que mejora el comportamiento mediante recompensas. Las redes compartían la misma estructura, las mismas entradas y las mismas acciones posibles. Sin una lista de juegos candidatos, Astra las identificó como Breakout, Pong, Pac-Man y Freeway.

Los investigadores afirmaron que Astra examinó patrones en la primera capa y diferencias en la forma en que la capa de salida seleccionaba las acciones. En el ejemplo de identificación de Breakout, asignó una confianza del 99 % a su respuesta. Esa confianza era la valoración que Astra hizo de su propia identificación.

Tres pequeños modelos de difusión ofrecieron otra prueba. Cada uno había aprendido a generar círculos, triángulos o cuadrados. Sin ejecutarlos, Astra identificó las formas al encontrar contornos en los pesos de sus capas de salida. Sus dibujos eran huecos, aunque los modelos generaban formas sólidas: un detalle inusual que vinculó su interpretación con la estructura numérica que había inspeccionado.

La identificación de idiomas se probó con tres modelos de 7,2 millones de parámetros cada uno, entrenados para predecir el siguiente carácter en código Python, japonés romanizado o inglés. Astra recibió únicamente las capas intermedias e identificó correctamente el idioma de entrenamiento en los dos intentos.

Astra también encontró los mecanismos de copia de los modelos, componentes de atención que ayudan a repetir texto visto anteriormente. El modelo de Python tenía más de estos mecanismos, en consonancia con el uso repetido de los mismos nombres de variables y funciones en el código. El modelo de japonés romanizado tenía menos direcciones codificadas por su módulo final, en consonancia con su conjunto más reducido de caracteres de uso común.

Reparar un automóvil y crear redes para jugar

Un automóvil simulado en el entorno Kinetix había adquirido un hábito poco útil: avanzaba hacia una pendiente y quedaba atascado. Primero tenía que retroceder para ganar espacio suficiente y luego subir con éxito. A partir de los pesos del controlador, una descripción de la escena y una grabación de un fallo, Astra propuso una reparación en una sola respuesta y sin herramientas.

La modificación cambió el 3,5 % de los pesos y tuvo éxito en las 1.024 pruebas. Astra añadió a la red una pequeña vía para registrar la posición y la velocidad y, después de que el automóvil pasara un marcador, devolvió el control a la red original.

En los juegos de MinAtar Breakout, Seaquest y Asterix, Astra tuvo otra tarea: crear redes de políticas desde cero. Una red de políticas convierte el estado de un juego en una acción. Astra recibió las reglas, el código fuente y la arquitectura necesaria, pero ningún ejemplo de entrenamiento, cálculo de gradientes, herramienta ni oportunidad de jugar antes de la evaluación.

Sus redes superaron en los tres juegos a los modelos de referencia PPO entrenados durante 100 millones de pasos. Breakout arrojó la mayor diferencia numérica: Astra obtuvo 517,4 puntos, frente a 15,8 del modelo de referencia entrenado durante 100 millones de pasos y 25,3 de otro entrenado durante 500 millones. Esta última comparación equivale a una ventaja de aproximadamente veinte veces.

La ventaja varió según el juego. Frente a modelos PPO entrenados durante 500 millones de pasos, Astra obtuvo resultados cercanos en Asterix y alcanzó aproximadamente el 60 % de la puntuación de Seaquest. Su diseño para Breakout tradujo una estrategia explícita en pesos: calcular dónde caerá la pelota y mover la paleta hacia ese punto.

Una red más grande de Go requirió otro método de trabajo

En el experimento de Go se utilizó una red de aproximadamente 1,5 millones de parámetros, demasiado grande para introducirla directamente en la ventana de contexto de Astra, es decir, la cantidad de información que puede manejar a la vez. En su lugar, los investigadores proporcionaron un entorno aislado de Python para inspeccionar y editar los pesos.

La arquitectura tenía 243 entradas, seis capas ocultas de 512 unidades y 82 salidas. Astra la organizó como un programa compacto de Go: las primeras capas representaban las piedras y las libertades, es decir, los puntos vacíos adyacentes que mantienen vivo a un grupo. Las capas intermedias transmitían información a través de grupos conectados para detectar el peligro.

La capa final asignaba puntuaciones a las jugadas para capturar piedras del rival, salvar grupos amenazados, proteger ojos y evitar el atari, la situación en la que a un grupo le queda una sola libertad. Se trataba de una estrategia construida mediante pesos numéricos, en vez de aprenderse jugando repetidamente.

Sin evaluaciones de rendimiento, la red de Astra ganó más de la mitad de sus partidas contra dos redes PPO más pequeñas. Con un presupuesto de 50 evaluaciones, superó a una red del mismo tamaño entrenada con 20 millones de partidas. La retroalimentación permitió a Astra examinar las derrotas y conservar los cambios que mejoraban el juego.

Dos pruebas difíciles revelan los límites

Gemma 3 270M ofreció un contraste útil con Qwen. Rara vez quedaba atrapado en ciclos de repetición. Astra encontró en su lugar errores de razonamiento comunes, como equivocaciones aritméticas y pasos algebraicos inválidos. Las pequeñas modificaciones, incluida la duplicación de la intensidad de una neurona que respondía a los números, mejoraron la precisión en MATH-500 en no más de aproximadamente un punto porcentual.

La comparación apunta a una distinción práctica. Eliminar un comportamiento repetitivo puede permitir que un modelo aproveche capacidades que ya posee. Corregir muchos errores matemáticos distintos requiere una solución más amplia que eliminar un patrón numérico compartido.

La adulación, es decir, la tendencia a dar la razón a un usuario incluso cuando se equivoca, resultó difícil de detectar mediante una inspección directa. Los investigadores ajustaron con precisión pares de modelos Gemma 3 270M con los mismos datos de preguntas y respuestas. Uno se entrenó para responder correctamente; el otro, para coincidir con las sugerencias de los usuarios.

Astra no pudo distinguirlos de forma fiable basándose únicamente en sus pesos. Cuando se le permitió inspeccionar los patrones de atención sobre texto escrito por ella, sin ver las respuestas de los modelos, identificó correctamente el modelo adulador en los tres pares. Esos modelos dedicaban más atención de las capas intermedias al contenido sugerido por el usuario.

Las mediciones de atención muestran hacia dónde dirige un modelo parte de su procesamiento mientras maneja texto. Su utilidad en este caso hizo que la inspección basada en la ejecución fuera una parte importante del diagnóstico exitoso. Detectar la tendencia a dar excesivamente la razón era la tarea; cambiar ese comportamiento era una aplicación propuesta por separado.

Qué quieren probar los investigadores a continuación

El equipo del MIT considera que el método podría servir para inspeccionar modelos, realizar reparaciones específicas, cambiar capacidades sin datos de entrenamiento convencionales y transferir componentes útiles entre arquitecturas diferentes. La edición directa de modelos cuenta con antecedentes de investigación, como ROME, presentado en NeurIPS en 2022, y MEMIT, presentado en ICLR en 2023. Este trabajo explora la posibilidad de que un modelo de lenguaje de propósito general razone por sí mismo sobre las modificaciones.

Otra línea propuesta es la mejora recursiva de sí mismos: un sistema de IA podría ayudar a mejorar un modelo que, a su vez, se vuelva más capaz de realizar nuevas mejoras. En estos experimentos, las tareas, las herramientas y los presupuestos de evaluación fueron establecidos por personas, y Astra trabajó sobre otras redes. Para crear un ciclo repetido fiable se necesitarían más experimentos.

El equipo publicó registros de experimentos y archivos de las modificaciones, y describió el repositorio público como un conjunto que contiene registros de 1.125 llamadas a modelos. El siguiente paso anunciado es crear una prueba de referencia y un marco experimental que permita realizar evaluaciones coherentes. No se dio una fecha de publicación.

Para quienes desarrollan aplicaciones de IA, el hallazgo más concreto es más acotado y fácil de entender: una pequeña reparación numérica puede producir una gran mejora cuando un fallo recurrente impide que un modelo termine un trabajo útil. Los resultados contrastantes de Gemma y de la prueba sobre adulación muestran por qué cada reparación propuesta necesitará su propio diagnóstico y evaluación.

Puntos clave

• Astra modificó 131.072 pesos de Qwen, aproximadamente el 0,016 % del modelo, y elevó la precisión en MATH-500 del 7,9 % al 48,1 %.
• La precisión en GSM8K aumentó del 13,8 % al 67,1 %, y la puntuación en IFEval pasó del 21,0 % al 62,3 %.
• La principal reparación redujo las salidas repetitivas; la proporción de respuestas de MATH-500 que alcanzaban el límite de tokens bajó del 93,0 % al 33,1 %.
• El intento más exitoso con Qwen utilizó 50 solicitudes de evaluación y duró 20,3 horas, incluida una interrupción del servicio.
• Astra también reparó un controlador de automóvil simulado y creó redes para juegos simplificados y Go.
• Gemma apenas mejoró en matemáticas, mientras que para identificar la adulación fue necesario medir los patrones de atención.
• Los investigadores están desarrollando una prueba de referencia y un marco de evaluación para la programación en el espacio de pesos.