HoYoverse presenta Gamer, una IA que juega a Honkai: Star Rail mirando la pantalla

12 min de lectura
HoYoverse unveils Gamer AI that plays Honkai: Star Rail by watching the screen

Un jugador de IA diseñado para el escritorio de los desarrolladores

El equipo de investigación de IA de Honkai de HoYoverse presentó Gamer, un sistema de inteligencia artificial que juega al observar la pantalla y enviar comandos de teclado y mouse. En una prueba de 50 horas, según se informó, controló Honkai: Star Rail de forma autónoma durante el 95% del tiempo y afrontó un desafío que va más allá de elegir la jugada adecuada: recordar qué hacer a lo largo de una aventura extensa.

Contenido
  1. Un jugador de IA diseñado para el escritorio de los desarrolladores
  2. ¿Cómo convierte Gamer las capturas de pantalla en acciones?
  3. Enseñar al sistema a recordar una misión
  4. Qué miden realmente los resultados de las misiones
  5. Los acertijos revelan un rendimiento mucho menos uniforme
  6. Por qué las decisiones más rápidas requieren hardware potente
  7. Qué se ha publicado y qué sigue pendiente
  8. Cómo podría ayudar un jugador virtual a probar un juego
  9. Por qué el trabajo va más allá de Honkai: Star Rail
  10. Puntos clave

El equipo de miHoYo publicó la página del proyecto y el artículo de investigación el 13 de noviembre de 2026. Las demostraciones muestran a Gamer siguiendo misiones, hablando con personajes, luchando contra enemigos y jefes, resolviendo acertijos y completando cinco variedades de minijuegos. Recibe información mediante capturas de pantalla, en lugar de datos ocultos dentro del juego.

El público previsto son desarrolladores e investigadores. HoYoverse describe Gamer como una herramienta que podría ayudar a probar juegos, detectar problemas y reducir tareas repetitivas de desarrollo, con investigaciones a más largo plazo orientadas a la inteligencia artificial para robots. Las pruebas de rendimiento comunicadas se realizaron con hardware potente de centros de datos, incluidos procesadores gráficos Nvidia H200.

Para los jugadores, por tanto, el avance inmediato es un proyecto de investigación, no una nueva función de juego automático. Para los desarrolladores, la ventaja es más concreta: un evaluador virtual que puede intentar completar una misión a través de la misma interfaz visible que utiliza una persona y luego seguir adelante entre conversaciones, desplazamientos, batallas y acertijos.

¿Cómo convierte Gamer las capturas de pantalla en acciones?

Gamer es un modelo de visión, lenguaje y acción. En términos sencillos, conecta tres capacidades: ver lo que aparece en una pantalla, entender instrucciones y ejecutar acciones. El artículo se titula Gamer: A Generalist Vision-Language-Action Foundation Model for Long-Horizon Real-Time Game Agent. El extenso nombre describe el objetivo central: controlar juegos durante períodos prolongados, en lugar de completar una sola acción aislada.

El sistema toma una muestra de la pantalla del juego cinco veces por segundo y genera instrucciones para el teclado y el mouse equivalentes a 30 actualizaciones por segundo. Cada decisión de acción abarca unos 200 milisegundos, divididos en seis pasos de aproximadamente 33 milisegundos cada uno. Esto le permite planificar una breve secuencia de entradas entre nuevas observaciones visuales.

Un jugador podría mirar de reojo un marcador de destino, mantener presionada una tecla de movimiento y ajustar la cámara. Gamer aprende una relación comparable entre las imágenes de la pantalla y los comandos de entrada. Puede mover personajes, girar la cámara, navegar por menús e interactuar con objetos sin depender de una interfaz especial que le proporcione el estado interno del juego.

Publicidad

El formato de acción publicado incluye 74 tokens de teclas con reglas específicas de uso de mayúsculas. Las salidas no válidas se interpretan como ausencia de acción. Estas reglas son importantes porque un sistema de IA debe enviar comandos que el software pueda interpretar de forma fiable, incluso cuando su razonamiento general no sea perfecto.

Enseñar al sistema a recordar una misión

El entrenamiento comienza con más de 10.000 horas de actividad grabada con teclado y mouse en distintos juegos. Estos registros relacionan lo que aparecía en pantalla con las acciones realizadas, lo que ayuda a Gamer a aprender habilidades básicas de control antes de pedirle que complete objetivos más largos.

Después, los investigadores añadieron entrenamiento con instrucciones, explicaciones de las decisiones y resúmenes de la actividad anterior. El material de entrenamiento comunicado incluye alrededor de 1,2 millones de anotaciones de razonamiento y 223.000 anotaciones de memoria. Estas ofrecen al modelo ejemplos de cómo elegir el siguiente paso y conservar información útil.

La memoria es esencial en una misión que lleva al jugador de un lugar a otro. Es posible que un sistema tenga que recordar con qué personaje ya habló, qué ruta no funcionó y qué objetivo sigue pendiente. Gamer crea resúmenes compactos para poder continuar cuando se llena su contexto de trabajo activo.

El equipo también utiliza lo que denomina razonamiento disperso. En vez de generar una explicación extensa antes de cada movimiento, el modelo puede seguir actuando mientras el plan siga siendo útil y dedicar más esfuerzo al razonamiento cuando cambian las circunstancias. Esto ayuda a combinar la planificación deliberada con las entradas rápidas que requiere un juego.

Qué miden realmente los resultados de las misiones

Los investigadores evaluaron Gamer en dos misiones secundarias de Honkai: Star Rail: Opportunity Makes the Thief (Part I) y Bestial Ferocity. Ambas incluyen varios tipos de actividad, como desplazarse, hablar con personajes y luchar contra enemigos; las pruebas de las misiones también incluyen un acertijo sencillo.

Tras la etapa inicial de entrenamiento continuo, las puntuaciones comunicadas de finalización de los objetivos de las misiones fueron del 34,4% y el 47,9%, respectivamente. Después del aprendizaje por refuerzo, alcanzaron el 80,0% y el 83,6%. Las mejoras fueron de 45,6 puntos porcentuales en la primera misión y de 35,7 puntos porcentuales en la segunda.

El aprendizaje por refuerzo consiste en mejorar mediante intentos cuyos resultados reciben una puntuación. En este caso, el equipo utilizó un método llamado Temporal-Aware GRPO para relacionar las recompensas con acciones realizadas a lo largo de períodos de juego conectados por la memoria. El problema se parece a aprender qué decisión anterior ayudó a completar una tarea varios minutos después.

Publicidad

La prueba de 50 horas con un 95% de control autónomo mide cuánto tiempo Gamer se encargó de la partida por sí solo. Las puntuaciones de los objetivos de las misiones miden el progreso hacia metas concretas. El equipo también afirmó haber alcanzado más del 95% de éxito en desafíos de la historia principal durante pruebas automatizadas, una medición adicional con un alcance distinto. Estos resultados publicados proceden de los desarrolladores; hasta ahora no se ha informado de una reproducción independiente de los resultados.

Los acertijos revelan un rendimiento mucho menos uniforme

Los resultados de Gamer en los minijuegos muestran por qué una demostración competente puede coexistir con debilidades considerables. En 40 tareas nunca vistas, distribuidas en siete tipos de minijuegos, la versión entrenada con aprendizaje por refuerzo alcanzó una tasa media de éxito del 49,7%. La etapa de entrenamiento anterior obtuvo un 15,0%, lo que supone una mejora de 34,7 puntos porcentuales.

Los ejemplos con mejores y peores resultados fueron muy distintos. Gamer obtuvo un 95,8% en los acertijos Navigation Compass y un 22,2% en Abacus Circuitry. La diferencia fue de 73,6 puntos porcentuales, lo que demuestra hasta qué punto el rendimiento dependía del acertijo concreto.

Los videos de demostración muestran partidas exitosas en cinco variedades de minijuegos, mientras que la evaluación abarca siete tipos. La prueba más amplia ofrece a los desarrolladores una imagen más detallada de las capacidades del sistema, incluidas las tareas que todavía le plantean dificultades.

Para un equipo de pruebas, esas diferencias tienen importancia práctica. Un agente que supera de forma fiable un desafío puede necesitar una supervisión más estrecha en otro. Los resultados ofrecen una base para decidir en qué casos las pruebas automatizadas podrían ahorrar trabajo y en cuáles las personas todavía tendrían que comprobar los resultados con atención.

Por qué las decisiones más rápidas requieren hardware potente

El equipo de investigación desarrolló un motor de inferencia llamado Streaming-vLLM para reducir la demora entre la solicitud de una decisión y su respuesta. La inferencia es la etapa en la que un modelo de IA entrenado procesa información nueva y produce una respuesta o una acción.

En la configuración comunicada con Nvidia H200, el motor redujo la latencia de extremo a extremo de las solicitudes de 1.306 milisegundos a 65,12 milisegundos, lo que equivale a una velocidad aproximadamente veinte veces mayor. En términos sencillos, la demora bajó de unos 1,3 segundos a unos 0,065 segundos. Esto importa cuando el juego sigue avanzando mientras la IA decide.

La configuración comunicada utilizó un modelo de mezcla de expertos Qwen3.5-35B-A3B, con el procesamiento distribuido entre cuatro dispositivos. Un modelo de mezcla de expertos activa partes seleccionadas de su red para una tarea. La configuración de hardware y software es fundamental para entender la cifra de velocidad, porque describe un entorno de investigación, no el rendimiento en una computadora doméstica común.

Publicidad

Streaming-vLLM reduce los cálculos repetidos, reutiliza información almacenada y puede enviar la primera acción válida mientras todavía genera el resto de la salida. Las decisiones más rápidas también contribuyen al entrenamiento: un sistema que pasa menos tiempo esperando puede realizar más interacciones en el mismo período.

Qué se ha publicado y qué sigue pendiente

La publicación abierta incluye una página del proyecto, el artículo y un repositorio de GitHub con código bajo la licencia Apache-2.0. El repositorio describe las instrucciones, los formatos de acción y los resultados de la evaluación. Los pesos del modelo —los parámetros numéricos aprendidos que se necesitan para ejecutar un modelo entrenado— no están incluidos en la publicación del código.

El equipo no ha publicado los datos de entrenamiento de Honkai: Star Rail ni los pesos del modelo entrenados o ajustados con datos de ese juego, por motivos de seguridad de los datos. Los archivos públicos corresponden a investigaciones anteriores del proyecto sobre entrenamiento general.

La implementación de Streaming-vLLM figura como «próximamente». No se indicó una fecha de lanzamiento para ese motor. Junto con la ausencia de los pesos entrenados y los requisitos de hardware exigentes, esto deja una brecha considerable entre leer la investigación y reproducir el sistema mostrado en las demostraciones.

La secuencia de publicación es breve:

  • 13 de noviembre de 2026: El equipo de investigación de IA de Honkai publicó la página del proyecto Gamer y el artículo.
  • 16 y 17 de noviembre de 2026: La cobertura pública detalló su método de entrenamiento, las demostraciones y los resultados de rendimiento.
  • En el momento de esas publicaciones: El motor de inferencia seguía indicado como «próximamente», sin fecha de lanzamiento prevista.

Cómo podría ayudar un jugador virtual a probar un juego

HoYoverse identifica las pruebas de juegos como uno de los principales usos potenciales. Una misión puede incluir muchos pasos relacionados: acercarse a un personaje, iniciar una conversación, desplazarse a otra zona, ganar una pelea y recoger un objeto. Un problema en cualquiera de esos pasos puede impedir que el jugador avance.

El método de Gamer podría permitir a los desarrolladores enviar a un agente a repetir esas interacciones visibles. Su capacidad para desplazarse, leer la pantalla y utilizar controles corrientes podría ayudar a comprobar si los objetivos y los menús funcionan según lo previsto. Repetir una secuencia de acciones también podría ayudar a los desarrolladores a reproducir un problema antes de solucionarlo.

Entre otras posibles aplicaciones, el equipo de investigación menciona la asistencia para mejorar la accesibilidad y los estudios sobre la interacción entre personas y computadoras. También se opone a utilizar Gamer para hacer trampa, acceder sin autorización, explotar vulnerabilidades de seguridad o perjudicar a usuarios y a la competencia justa.

Publicidad

Estas restricciones son importantes porque la misma capacidad de controlar un juego automáticamente puede servir para propósitos muy distintos. El objetivo de desarrollo declarado es la investigación y las pruebas autorizadas, con supervisión humana y respeto por las reglas del juego para determinar cómo se llevaría a cabo cualquier uso práctico.

Por qué el trabajo va más allá de Honkai: Star Rail

HoYoverse también considera que los mundos de juegos en tres dimensiones son entornos útiles para investigaciones que podrían contribuir, con el tiempo, al desarrollo de la robótica. Los juegos ofrecen secuencias de observaciones, decisiones y consecuencias: un agente ve un obstáculo, elige una ruta, actúa y comprueba qué ha cambiado.

Gamer reúne varios elementos de ese problema en un solo sistema. Las observaciones de la pantalla aportan la percepción; las instrucciones y los resúmenes apoyan la planificación, y las salidas de teclado y mouse permiten el control. El entrenamiento con varios juegos busca que esas habilidades sirvan más allá de una sola misión o título.

Un robot físico tendría que afrontar exigencias adicionales, como sensores reales, limitaciones de movimiento y requisitos de seguridad. La contribución inmediata de Gamer es una forma de estudiar acciones sostenidas y memoria en entornos virtuales, donde los investigadores pueden repetir tareas y medir resultados.

La imagen más útil del proyecto surge de considerar sus resultados en conjunto: un rendimiento mucho mejor en las misiones tras el aprendizaje por refuerzo, resultados desiguales en los acertijos y una gran reducción de la latencia de decisión con hardware costoso. Estos detalles explican tanto por qué un desarrollador podría querer un evaluador de este tipo como por qué se necesita más trabajo antes de que se convierta en una herramienta habitual.

Puntos clave

  • Gamer, de HoYoverse, controla juegos mediante capturas de pantalla y comandos de teclado y mouse.
  • En una prueba comunicada de 50 horas, logró controlar el juego de forma autónoma durante el 95% del tiempo.
  • Tras el aprendizaje por refuerzo, las puntuaciones de los objetivos de dos misiones secundarias alcanzaron el 80,0% y el 83,6%.
  • El éxito medio fue del 49,7% en 40 tareas de minijuegos, con grandes diferencias entre los tipos de acertijos.
  • En la configuración comunicada con H200, la latencia de decisión bajó de 1.306 a 65,12 milisegundos.
  • El proyecto está orientado a la investigación y las pruebas de juegos. Los pesos del modelo entrenado no se incluyeron y el motor de inferencia figuraba como «próximamente».
Compartir este artículo

También le puede interesar