Alibaba Cloud reduce el uso de GPU de Nvidia con el sistema de agrupación Aegaeon

Dentro de Aegaeon: cómo Alibaba Cloud redujo las necesidades de GPU para IA

Alibaba Cloud afirma que ha reducido considerablemente la cantidad de procesadores gráficos de Nvidia necesarios para ofrecer modelos de lenguaje grandes a gran escala gracias a un nuevo sistema llamado Aegaeon. En una versión beta en producción de su mercado de modelos, la empresa informa que Aegaeon redujo de 1.192 a 213 la cantidad de GPU Nvidia H20 necesarias para gestionar decenas de modelos, incluidos algunos de hasta 72.000 millones de parámetros. Esto representa una reducción del 82 % en los aceleradores desplegados para ofrecer el mismo nivel de servicio. Los resultados se presentaron en el Simposio sobre Principios de Sistemas Operativos celebrado en Seúl, un evento de referencia en la investigación de sistemas informáticos. Para los compradores de servicios en la nube, esta afirmación se traduce en posibles ahorros en costos y energía, una mayor disponibilidad de chips escasos y una experiencia más uniforme al utilizar distintos modelos a través de la misma plataforma.

Este avance aborda un problema cada vez mayor en la era de los mercados de modelos. Los proveedores de servicios en la nube ofrecen ahora miles de modelos a los desarrolladores al mismo tiempo. Unos pocos modelos, como la familia Qwen de Alibaba y el modelo abierto DeepSeek, concentran la mayor parte del tráfico. Muchos otros permanecen inactivos durante largos períodos y luego reciben ráfagas breves de solicitudes. Los sistemas tradicionales de servicio asignan GPU completas o grandes porciones de GPU a cada instancia de modelo. Cuando un modelo tiene poca actividad, la GPU reservada queda infrautilizada. Cuando llegan solicitudes y no hay suficientes réplicas listas, la plataforma activa capacidad y asume el costo de los tiempos de carga y del menor rendimiento. Aegaeon intenta cambiar esta lógica agrupando recursos de GPU para muchos modelos y programando luego las tareas en intervalos más breves, de modo que cada acelerador se mantenga ocupado.

Alibaba Cloud presenta Aegaeon como una forma de atender cargas de trabajo simultáneas de modelos de lenguaje grandes sin desperdiciar recursos. El sistema combina una programación intensiva de varios modelos con mecanismos para mantener la memoria activa y cambiar de un modelo a otro con una demora mínima. Según el equipo de investigación de la Universidad de Pekín y Alibaba Cloud, el resultado es un mayor rendimiento, menos solicitudes en espera y menos chips asignados a servicios con poco uso.

¿Qué problema busca resolver Aegaeon?

Las plataformas modernas de IA se enfrentan a una larga cola de demanda. Un pequeño grupo de modelos populares atrae la mayor parte del tráfico de inferencia. Los modelos menos populares también son importantes para los desarrolladores, pero reciben solicitudes esporádicas. Alibaba Cloud midió que el 17,7 % de las GPU de su mercado se había asignado para atender solo el 1,35 % de las solicitudes. Cuando los modelos quedan vinculados a aceleradores dedicados, la empresa termina pagando por los períodos de inactividad y por frecuentes arranques en frío, sobre todo cuando los patrones de tráfico son irregulares o impredecibles.

Desde fuera, ofrecer inferencias parece sencillo, pero el funcionamiento interno es complejo. Un modelo de lenguaje grande mantiene sus pesos y el estado de ejecución en la memoria de la GPU. Durante la generación, el sistema mantiene una caché de clave-valor que almacena las activaciones intermedias de los tokens ya generados. Cargar los pesos del modelo desde el disco o a través de la red es lento. Preparar la caché de clave-valor lleva tiempo. Tradicionalmente, cambiar una GPU de un modelo a otro implicaba una descarga y una recarga costosas. Ese costo adicional desalentaba el uso compartido frecuente y hacía que la mayoría de los aceleradores se dedicaran, como máximo, a uno o dos modelos. Aegaeon está diseñado para gestionar estas transiciones de forma mucho más eficiente, de modo que las GPU puedan compartir su tiempo entre muchos modelos sin una penalización considerable.

Cómo funciona el sistema

Aegaeon es un sistema de servicio de varios modelos que trata la GPU como un conjunto de recursos compartidos y decide qué ejecutar con una granularidad muy fina. En lugar de ajustar la capacidad según las solicitudes o las réplicas de modelos, toma decisiones por token. El planificador puede intercalar la generación de tokens para distintos usuarios y modelos en la misma GPU, mientras mantiene en memoria las estructuras de datos más valiosas. El objetivo es maximizar el trabajo útil por segundo sin superar un margen ajustado de demora en las respuestas.

Escalado automático a nivel de token

La idea central es ajustar la capacidad a nivel de token. Esto significa que Aegaeon puede empezar a atender una solicitud para un modelo y luego programar de forma oportunista tokens de otro modelo cuando haya capacidad disponible, todo dentro de los mismos lotes y lanzamientos de kernels. El artículo informa que Aegaeon mantuvo tasas de llegada de solicitudes entre 2 y 2,5 veces más altas, o alcanzó un rendimiento útil entre 1,5 y 9 veces mayor, en comparación con grupos alternativos que solo multiplexan dos o tres modelos por GPU. Al operar con una granularidad de token, el sistema evita las largas pausas asociadas con el inicio de nuevas réplicas y puede responder rápidamente a los aumentos repentinos de demanda de cualquier modelo.

Reutilización de memoria y coordinación de la caché KV

Aegaeon reduce los costos adicionales al reutilizar componentes, gestionar explícitamente la memoria y sincronizar con gran precisión la caché de clave-valor entre modelos. Los investigadores afirman que esto reduce en un 97 % los costos adicionales del escalado automático frente a los métodos básicos. Gracias a una gestión más inteligente de la memoria y la caché, una misma GPU puede mantener varios modelos listos para ejecutarse sin recargas constantes. Esto permite que un acelerador admita hasta siete modelos simultáneamente, frente al límite habitual de dos o tres en sistemas anteriores de varios modelos.

Resultados medidos en la versión beta en producción

Alibaba Cloud afirma que probó Aegaeon en versión beta en su mercado de modelos durante más de tres meses. El despliegue atendió decenas de modelos, incluidos algunos de hasta 72.000 millones de parámetros. Durante ese período, el equipo informa que la cantidad de GPU necesaria para satisfacer la misma carga de servicio bajó de 1.192 unidades Nvidia H20 a 213, lo que supuso un ahorro de recursos del 82 %. El sistema también redujo en un 97 % la penalización de latencia al cambiar de modelo, lo que resulta útil cuando las cargas de trabajo alternan a lo largo del día entre modelos populares y otros de la larga cola.

El mercado ofrece un entorno de prueba sólido porque recibe solicitudes simultáneas del mundo real, de distintos tamaños y para una amplia variedad de modelos. En este contexto, Aegaeon mantuvo los aceleradores más ocupados, redujo el tiempo de inactividad de los servicios poco utilizados y conservó la capacidad de respuesta de los modelos con mayor demanda al programar las tareas con una granularidad más fina. La combinación de programación por token y reutilización cuidadosa de la memoria parece ser la clave para obtener más trabajo útil por hora de GPU.

El equipo de investigación de la Universidad de Pekín y Alibaba Cloud sostuvo que las prácticas del sector estaban desperdiciando recursos al dedicar GPU a modelos con demanda esporádica. Expusieron directamente su conclusión en el artículo.

Aegaeon es el primer trabajo que pone de manifiesto los costos excesivos asociados con la prestación de servicios para cargas de trabajo simultáneas de modelos de lenguaje grandes en el mercado.

Esta afirmación coincide con los patrones observados en los mercados de modelos. Desde hace tiempo, los proveedores reconocen que la larga cola inmoviliza capacidad y eleva los costos para todos. El enfoque de Aegaeon demuestra que un diseño de programación y memoria adaptado a los servicios de varios modelos puede reducir ese desperdicio.

Qué significa para los clientes de servicios en la nube y los desarrolladores

Para los clientes, necesitar menos GPU por unidad de rendimiento puede traducirse en precios más bajos, mejores cuotas y un rendimiento más predecible. Si un proveedor de servicios en la nube puede atender el mismo tráfico con aproximadamente una quinta parte de los aceleradores, puede liberar capacidad para los períodos de máxima demanda y acortar las listas de espera de nuevos despliegues. Los desarrolladores que combinan varios modelos en una misma aplicación también podrían encontrar menos cuellos de botella por los arranques en frío y la rotación de réplicas cuando el tráfico cambia entre distintos puntos de acceso.

Hay aspectos prácticos importantes para los compradores. El uso compartido entre varios modelos debe preservar el aislamiento, de modo que la carga de trabajo de un cliente no perjudique la experiencia de otro ni exponga sus datos. El planificador debe respetar las reglas de prioridad y equidad para que los modelos populares mantengan una latencia baja y los más lentos también puedan avanzar. El artículo indica que las decisiones de Aegaeon a nivel de token se diseñaron teniendo en cuenta los objetivos de calidad del servicio. Aun así, los proveedores deberán contar con herramientas sólidas de observabilidad y limitación del tráfico para controlar la latencia de cola a medida que amplíen la agrupación de recursos a flotas más grandes.

Nvidia, China y el contexto de los chips de IA

Aegaeon llega en un contexto de escasez mundial de aceleradores de gama alta y de controles de exportación vigentes sobre chips avanzados de IA destinados a China. Nvidia diseñó el H20 para el mercado chino con el fin de cumplir esas normas, y muchos proveedores chinos dependen de ese dispositivo para la inferencia. Al mismo tiempo, empresas chinas como Huawei y Cambricon invierten en alternativas nacionales. La eficiencia del software que permite que cada GPU realice más trabajo es valiosa en cualquier mercado, pero resulta especialmente útil cuando el acceso a los chips más avanzados está restringido.

La dirección de Nvidia ha comunicado que sus previsiones financieras a corto plazo contemplan ingresos mínimos o nulos del segmento de chips avanzados en China debido a las restricciones normativas. Ese contexto da más relevancia a los resultados de Alibaba Cloud. Si los grandes proveedores pueden ampliar la capacidad de sus equipos instalados mediante software, podrán seguir haciendo crecer sus servicios incluso cuando la oferta de aceleradores de primer nivel sea limitada.

Comparación entre Aegaeon y otros enfoques

Hasta hace poco, la mayoría de los sistemas de servicio de varios modelos solo podía multiplexar de forma segura dos o tres modelos en una GPU antes de que los costos adicionales superaran los beneficios. Cada modelo adicional aumentaba los cambios de contexto, los fallos de caché y el riesgo de fluctuaciones que pueden impedir cumplir los objetivos de latencia. El diseño de Aegaeon se centra en reducir esos costos de cambio y mantener las estructuras de datos esenciales disponibles en memoria para distintos modelos. Por eso, un acelerador puede ahora admitir hasta siete modelos en las condiciones descritas.

Las instancias dedicadas siguen siendo adecuadas para los puntos de acceso que requieren el mayor rendimiento o para las cargas de trabajo con requisitos estrictos de aislamiento. En el otro extremo, la inferencia sin servidor, que activa réplicas completas de modelos cuando se necesitan, puede ser económica para modelos con poco tráfico, pero implica tiempos de inicio más largos. Aegaeon adopta un enfoque intermedio: agrupa la capacidad y mantiene los modelos listos, y luego programa las tareas en intervalos breves para aumentar el uso general sin una gran contrapartida en latencia.

Preguntas técnicas pendientes y próximos pasos

La versión beta funcionó en el mercado de modelos de Alibaba Cloud, un entorno considerable, pero no abarca todos los servicios de la empresa. Incorporar Aegaeon a más regiones y a distintas líneas de productos, como los clústeres dedicados para empresas o los sistemas locales, permitiría evaluar el diseño con otras restricciones. Otra pregunta es cómo se comporta el planificador a medida que aumenta la longitud del contexto de los modelos y que los modelos multimodales combinan texto con imágenes y audio. Esos casos pondrán a prueba las políticas de memoria y caché de nuevas maneras.

También hay una línea de investigación sobre el uso compartido entre aceleradores heterogéneos y entre nodos. Si un planificador puede agrupar no solo una GPU, sino también un conjunto de GPU conectadas mediante una red, podría generar mejoras adicionales, siempre que el costo de interconexión se mantenga bajo y la ubicación de la memoria siga siendo predecible. Las pruebas publicadas hasta ahora apuntan a grandes beneficios al agrupar recursos en un solo dispositivo, lo que ya supone un avance práctico importante para las cargas de trabajo de inferencia actuales.

Datos clave

• Aegaeon redujo de 1.192 a 213 las GPU utilizadas para el servicio del mercado de Alibaba Cloud, un recorte del 82 %.
• Durante una versión beta de más de tres meses, el sistema atendió decenas de modelos, incluidos algunos de hasta 72.000 millones de parámetros.
• En las pruebas descritas, una sola GPU admitió hasta siete modelos, frente a los dos o tres de los sistemas anteriores.
• La programación por token, la reutilización de memoria y la sincronización de la caché de clave-valor redujeron en un 97 % los costos adicionales del escalado automático.
• Los experimentos mostraron que el sistema mantuvo tasas de llegada entre 2 y 2,5 veces más altas, o alcanzó un rendimiento útil entre 1,5 y 9 veces mayor que las alternativas.
• El enfoque busca resolver el problema de la larga cola en los mercados de modelos, donde una minoría de solicitudes inmoviliza una gran proporción de las GPU.
• Los resultados llegan en un contexto en el que los controles de exportación limitan el acceso a chips avanzados de IA en China y se aceleran los esfuerzos nacionales para desarrollar GPU.