Samsung busca reducir el costo de los tokens de IA aprovechando mejor la memoria de los servidores

Más solicitudes de IA sin añadir GPU

Samsung Electronics ha desarrollado un método para gestionar más solicitudes simultáneas en servidores de inteligencia artificial mediante cambios en la asignación de memoria y la transferencia de datos entre procesadores. Una solicitud de patente publicada describe un software que sopesa los tiempos de espera, los costos de transferencia y las necesidades futuras de memoria para decidir qué solicitudes debe procesar primero un modelo de lenguaje grande.

El objetivo es reducir las demoras cuando se llena la memoria de la unidad de procesamiento gráfico (GPU), para que los servidores existentes puedan atender a más personas. Samsung presenta la invención como una tecnología de infraestructura para la inferencia de IA, el proceso de ejecutar un modelo entrenado para responder preguntas, y no como una función de un producto de consumo específico.

Otras investigaciones de Samsung ofrecen una idea concreta del ahorro potencial de una mejor gestión de la memoria. En un experimento de almacenamiento independiente, realizado con ocho GPU NVIDIA H100 NVL y diez unidades de estado sólido de Samsung, la empresa mantuvo por debajo de un segundo la espera hasta el primer token de salida, con hasta 240 usuarios simultáneos. Sin descargar datos al almacenamiento, ese tiempo de espera empezó a aumentar a partir de los 140 usuarios.

La patente, el experimento de almacenamiento y otro proyecto de Samsung SDS abordan distintas partes del mismo problema: los costosos procesadores de IA pueden pasar demasiado tiempo transfiriendo o reconstruyendo información. Para los operadores, reducir ese trabajo podría significar más respuestas con los equipos existentes y un menor costo por token, las pequeñas unidades de texto que los modelos de lenguaje procesan y generan.

Por qué la memoria puede retrasar una respuesta

Una GPU realiza muchos cálculos a la vez, por lo que resulta útil para generar respuestas de IA. Sin embargo, su memoria local de alta velocidad tiene una capacidad limitada. Varias conversaciones compiten por ese espacio, sobre todo cuando los usuarios envían documentos largos o hacen preguntas que requieren respuestas extensas.

Los modelos de lenguaje conservan registros temporales de cálculos anteriores en una estructura llamada caché de clave-valor, que suele abreviarse como caché KV. Puede entenderse como notas de trabajo: conservarlas permite que el modelo continúe una respuesta sin volver a calcular repetidamente todo lo que ya ha procesado.

El experimento de almacenamiento de Samsung requirió aproximadamente 3 GB de caché KV por sesión. Para 240 sesiones, eso equivale a unos 720 GB de datos de caché en toda la carga de trabajo. La cifra ayuda a explicar por qué atender a muchas personas puede convertirse en un problema de memoria incluso cuando se dispone de una capacidad de cálculo considerable.

Cuando escasea la memoria rápida de la GPU, un servidor puede trasladar algunos datos a la memoria asociada a la unidad central de procesamiento (CPU) y recuperarlos cuando los necesita. Esas transferencias llevan tiempo. Reconstruir cálculos descartados también consume recursos. La patente de Samsung se centra en gestionar esta competencia con mayor cuidado.

Cómo funciona el método de programación patentado

La solicitud de Samsung, titulada Método y servidor para procesar múltiples solicitudes de usuarios de un modelo de lenguaje grande, describe un planificador que tiene en cuenta el costo de atender cada solicitud. Entre los datos que considera figuran cuánto tiempo ha esperado el usuario, cuánto tardarán las transferencias de datos y cuánta memoria necesitará la solicitud.

El servidor utiliza esos cálculos para elegir el orden de procesamiento. Esto importa porque una solicitud que parece lista para ejecutarse puede requerir primero una transferencia considerable, mientras que otra quizá pueda utilizar datos que ya están cerca. Coordinar esas decisiones puede reducir el tiempo dedicado a reorganizar la memoria.

El método también comprueba si la información trasladada anteriormente a la memoria de la CPU sigue allí. Si hay una copia que se puede usar, el servidor puede transferir solo las partes necesarias en lugar de volver a copiarlo todo. También puede transferir datos de un usuario mientras la GPU genera la respuesta de otro, de modo que el trabajo útil y la preparación se realicen en paralelo.

Samsung también describe el uso de la memoria disponible de forma parcial. Si una nueva solicitud necesita cinco unidades de espacio, pero solo hay tres libres, el sistema puede empezar con la parte que cabe en lugar de esperar a que estén disponibles las cinco. El objetivo práctico es mantener productivos los recursos limitados durante los periodos de alta demanda. No se han divulgado detalles sobre el despliegue comercial ni mediciones de las mejoras en el tiempo de respuesta y el rendimiento de este método patentado.

Qué midió Samsung al descargar datos al almacenamiento

El informe técnico de Samsung sobre la caché KV examina un enfoque diferente: conservar en unidades de estado sólido NVMe los datos de caché que pueden volver a utilizarse. NVMe es una tecnología que permite que los dispositivos de almacenamiento se comuniquen rápidamente con una computadora mediante conexiones PCIe.

La prueba utilizó ocho GPU NVIDIA H100 NVL, ocho servicios paralelos de inferencia de LLaMA-3.1 8B, el software de servicio vLLM y LMCache, una capa de código abierto que gestiona datos reutilizables de caché KV. Se combinaron diez unidades Samsung PM1753 en una matriz RAID-0, que distribuye los datos entre varias unidades para aumentar la velocidad de transferencia.

Samsung midió las cargas de usuarios en incrementos de 20, hasta llegar a 280 usuarios simultáneos. Cada usuario enviaba una consulta cada 20 segundos, lo que generaba una carga de entre una y 14 consultas por segundo. Por tanto, el experimento probó un patrón definido de solicitudes repetidas y movimiento de caché.

El almacenamiento resulta útil cuando una sesión pasa de una GPU a otra. La GPU de destino puede volver a cargar los cálculos guardados en lugar de repetir el procesamiento inicial de una instrucción larga. En una misma máquina, la caché externa puede conservarse en la memoria de la CPU o en el almacenamiento. En varias máquinas, Samsung explica que la caché necesita un recurso compartido al que puedan acceder los servidores pertinentes.

Respuestas que empiezan antes y más texto generado

Samsung midió dos aspectos del rendimiento del servicio: el tiempo hasta el primer token y los tokens por segundo. El primero mide cuánto espera una persona antes de que empiece a aparecer la respuesta. El segundo mide cuánto texto produce el sistema a lo largo del tiempo.

Con la descarga de datos al almacenamiento activada, la prueba mantuvo por debajo de un segundo el tiempo hasta el primer token para un máximo de 240 usuarios simultáneos. Sin esa descarga, la latencia empezó a aumentar a partir de los 140 usuarios. Samsung afirma que esto permite atender a 1,7 veces más usuarios con una latencia comparable. Entre 20 y 140 usuarios, la configuración con descarga mantuvo la espera inicial en aproximadamente medio segundo.

Con 240 usuarios, el sistema con descarga generó aproximadamente 1,5 veces más tokens de salida. La configuración sin descarga empezó a saturarse en torno a los 160 usuarios, mientras que el sistema que reutilizaba la caché guardada siguió aumentando su producción a medida que crecía la demanda.

Samsung atribuye la mejora a la reducción del procesamiento repetido de las instrucciones. Un modelo de lenguaje primero procesa la entrada, en una etapa conocida como prellenado, y después genera la respuesta token por token en una etapa llamada decodificación. Reutilizar los cálculos guardados deja más capacidad de la GPU disponible para producir respuestas.

Cuándo se amortiza el almacenamiento adicional

El análisis de costos de Samsung muestra que el hardware adicional tiene un precio, incluso cuando mejora la eficiencia ante una demanda elevada. En el rango de cero a 160 usuarios simultáneos, ambas configuraciones ofrecieron un rendimiento similar en tokens, mientras que la configuración con descarga costó aproximadamente un 4% más debido a los componentes NVMe adicionales.

Por encima de los 180 usuarios, el mayor volumen de salida compensó el costo adicional del almacenamiento. Con 240 usuarios, Samsung calculó una eficiencia de costos aproximadamente 1,5 veces mayor, medida en tokens por segundo por dólar durante un periodo de funcionamiento de tres años.

Expresado de otra manera, una mejora de 1,5 veces en la producción por dólar equivale a aproximadamente un tercio menos de costo por unidad de producción según ese cálculo. La comparación se refiere a los equipos y la carga de trabajo probados por Samsung. La economía real de un servicio también depende del modelo, la duración de las conversaciones, el tráfico y el costo de los equipos.

Por tanto, para un operador de servicios en la nube, la decisión depende en gran medida de la demanda. El almacenamiento adicional puede aumentar el costo inicial cuando la capacidad de GPU existente ya permite gestionar la carga de trabajo sin problemas. Durante una congestión prolongada, reutilizar la caché puede permitir que la misma instalación de GPU soporte más actividad antes de necesitar otro servidor.

El ahorro de energía también reduce el uso de los ventiladores

Samsung también midió un menor consumo de electricidad en su experimento de almacenamiento. Con 240 usuarios, el rendimiento por vatio mejoró aproximadamente 2,9 veces. El consumo total del sistema cayó a cerca del 53% del registrado en la configuración sin descarga, una reducción de alrededor del 47%.

Según el informe técnico, las unidades NVMe adicionales aumentaron el consumo de energía aproximadamente un 6%. La menor demanda de las GPU y de refrigeración compensó con creces ese incremento. Samsung registró una utilización de la GPU de aproximadamente el 49% a medida que la carga de trabajo dejó de repetir cálculos intensivos de prellenado.

Los ventiladores de refrigeración reflejaron ese cambio. Sin descarga, todos los ventiladores del sistema funcionaban a su velocidad máxima prevista de 15.000 revoluciones por minuto. Con la descarga, los ventiladores de la CPU, la memoria y el almacenamiento funcionaban a unas 7.800 revoluciones por minuto, mientras que los del lado de la GPU giraban a aproximadamente 9.800.

El resultado muestra por qué un componente puede aumentar localmente la demanda de electricidad y, al mismo tiempo, reducir el consumo total de un servidor. En este experimento, la energía destinada a recuperar cálculos guardados redujo el mayor gasto energético que supone repetirlos y eliminar el calor resultante.

El almacenamiento debe soportar picos de demanda

Las mediciones de Samsung también muestran por qué este enfoque requiere algo más que capacidad disponible en las unidades. El rendimiento agregado medio del almacenamiento llegó hasta los 37 GB por segundo, y las solicitudes simultáneas de las GPU podían elevar la demanda máxima a casi el doble del promedio.

El número de operaciones de almacenamiento en curso solía rondar las 160, pero podía dispararse hasta 800. Samsung recomienda un ancho de banda de almacenamiento de al menos el doble del requisito medio para absorber esos picos y mantener la capacidad de respuesta.

La unidad PM1753 alcanza, según sus especificaciones, hasta 14,5 GB por segundo de rendimiento secuencial y 3,3 millones de operaciones de lectura aleatoria por segundo. En la carga de trabajo probada, las lecturas representaron aproximadamente el 92% de la actividad de almacenamiento y las escrituras, el 8%. LMCache movió bloques grandes de caché de aproximadamente 33 MB.

Varios servicios que leen bloques grandes al mismo tiempo pueden generar un flujo entrelazado de solicitudes. Por tanto, un subsistema de almacenamiento debe mantener la velocidad de transferencia cuando muchos usuarios se conectan a la vez. La capacidad de la caché, la velocidad de transferencia y la programación contribuyen a determinar si la información guardada llega a la GPU con suficiente rapidez para ser útil.

Samsung SDS traslada los cálculos a la memoria

Samsung SDS aborda la transferencia de datos por otra vía. Su informe de investigación sobre PAISE describe el motor de programación de inferencia acelerada por PIM, presentado en IEEE HPCA 2025. PAISE utiliza procesamiento en memoria (PIM), una tecnología que incorpora unidades de cálculo dentro de los chips de memoria para que algunos cálculos puedan realizarse donde se almacenan los datos.

Samsung SDS implementó y validó el sistema en el hardware PIM Aquabolt-XL de Samsung, con pruebas de los modelos GPT-2, OPT y Llama2. La empresa informa de una mejora de hasta el 48,3% en la velocidad de inferencia y una reducción del consumo de energía de aproximadamente el 11,5%.

PAISE decide qué operaciones deben ejecutarse en la memoria y organiza los datos para adaptarlos al hardware. También agrupa pequeños cálculos de atención para ejecutarlos en paralelo con mayor eficiencia. Samsung SDS informa de actualizaciones más rápidas de la caché KV y de mejoras mayores con tamaños de lote más grandes, es decir, grupos de solicitudes procesados a la vez.

Los tres proyectos actúan en distintos puntos del servidor. La patente programa las solicitudes y las transferencias entre la memoria de la GPU y la de la CPU. El experimento de almacenamiento conserva la caché en unidades para reutilizarla más adelante. PAISE traslada determinados cálculos al hardware de memoria. En conjunto, muestran que Samsung explora varias formas de reducir el tiempo y la energía que se dedican a transferir o reconstruir la información que hace posibles las respuestas de IA.

Puntos clave

• La solicitud de patente publicada por Samsung programa las solicitudes de IA en función de los tiempos de espera, los costos de transferencia y las necesidades previstas de memoria.
• El método patentado busca atender a más usuarios con las GPU existentes; no se han divulgado cifras de rendimiento comercial.
• En una prueba de almacenamiento independiente de Samsung se atendió a 240 usuarios simultáneos con una espera inicial inferior a un segundo, mientras que, sin descarga, la latencia empezó a aumentar a partir de los 140 usuarios.
• Con 240 usuarios, la descarga de datos al almacenamiento ofreció aproximadamente 1,5 veces más tokens de salida y eficiencia de costos, además de un rendimiento por vatio 2,9 veces mayor.
• El almacenamiento adicional elevó los costos aproximadamente un 4% con cargas más ligeras, por lo que la demanda es un factor importante en el cálculo económico.
• Samsung SDS afirma que su sistema independiente PAISE mejoró la velocidad de inferencia hasta un 48,3% mediante cálculos dentro de la memoria.