Alibaba lanza Qwen3 Omni, un modelo de IA multimodal de código abierto

Por qué este lanzamiento importa ahora

Alibaba ha lanzado Qwen3 Omni, un modelo de inteligencia artificial multimodal que procesa texto, imágenes, audio y video en un mismo sistema, en un momento en que se intensifica la competencia mundial en IA. El modelo se puede descargar y utilizar con la licencia Apache 2.0, que otorga a las empresas amplios derechos para ejecutar, modificar e integrar la tecnología en productos comerciales. La combinación de una amplia cobertura de modalidades y una licencia permisiva ejerce presión directa sobre los sistemas cerrados de los principales actores estadounidenses.

El momento del lanzamiento llama la atención. Las empresas occidentales siguen invirtiendo grandes sumas en IA propietaria y en la infraestructura que la sustenta, mientras que los grupos de investigación chinos buscan atraer a desarrolladores con modelos de acceso abierto. Qwen3 Omni ha subido rápidamente en las clasificaciones comunitarias de Hugging Face, una señal de que la comunidad de desarrolladores lo está adoptando a gran escala. Para Alibaba, el lanzamiento indica que el mayor proveedor de servicios en la nube de China pretende competir por las cargas de trabajo de IA en todo el mundo, y no solo por el reconocimiento en el ámbito de la investigación.

La propuesta del modelo es fácil de resumir: un modelo fundacional capaz de recibir lenguaje, imágenes, audio y video, y responder con texto o voz natural en tiempo real. Si el rendimiento que informa Alibaba se confirma en el uso cotidiano, las empresas podrían implementar asistentes, servicios de transcripción y herramientas de análisis sin pagar tarifas de uso a plataformas cerradas y sin tener que combinar modelos distintos para cada tipo de datos.

Qué es Qwen3 Omni y qué hace

Qwen3 Omni es un modelo fundacional diseñado para la interacción multimodal nativa. Acepta cuatro tipos de entrada —texto, imágenes, audio y video— y produce dos tipos de salida: texto y voz. Las respuestas pueden transmitirse casi en tiempo real, de modo que el usuario puede hablar con el sistema o apuntar una cámara a una escena y empezar a escuchar una respuesta mientras el modelo procesa los fotogramas.

Alibaba ofrece tres versiones para que los equipos puedan adaptar las capacidades a sus casos de uso. Cada una se basa en una arquitectura de 30.000 millones de parámetros que activa selectivamente expertos durante la inferencia para mejorar la eficiencia. La oferta es la siguiente:

• Instruct, el modelo interactivo completo, que procesa entradas de audio, video y texto, y genera tanto texto como voz.
• Thinking, el modelo centrado en el razonamiento, diseñado para respuestas con cadenas de pensamiento largas. Acepta las mismas entradas, pero solo genera texto.
• Captioner, una variante ajustada para describir audio en detalle, cuyo objetivo es reducir al mínimo las alucinaciones al describir fuentes y sucesos sonoros.

Los desarrolladores pueden descargar los pesos desde GitHub y Hugging Face, o acceder a un servicio administrado mediante la API de Alibaba, que también ofrece una variante Flash más rápida para usos sensibles a la latencia.

El diseño de Thinker y Talker

El sistema sigue una arquitectura de dos componentes que Alibaba denomina Thinker y Talker. Thinker se encarga del razonamiento entre modalidades. Combina información del texto, los codificadores visuales y un codificador de audio; luego planifica y produce tokens de texto que representan la respuesta o acción prevista. Talker convierte ese plan en voz natural y mantiene la sincronización y la entonación en consonancia con el contexto visual y sonoro.

Ambos componentes utilizan un enfoque de mezcla de expertos (Mixture of Experts). En cada paso solo se activa un subconjunto de parámetros, lo que distribuye la carga entre los expertos y aumenta la capacidad de procesamiento cuando llegan muchas solicitudes a la vez. Este diseño ayuda al modelo a mantener una latencia baja mientras atiende a varios usuarios simultáneamente.

Talker no depende de la representación textual interna de Thinker. Puede utilizar directamente características de audio y visuales como contexto. Esto hace que la voz generada sea más natural durante una traducción o una asistencia en directo, ya que el sistema puede conservar una prosodia y un timbre acordes con la escena. Esta separación también aporta ventajas operativas. Los módulos externos, como los sistemas de recuperación de información o los filtros de seguridad, pueden revisar y ajustar el texto propuesto por Thinker antes de que Talker lo convierta en voz.

Para generar voz de forma rápida y clara, Talker predice de manera autorregresiva una secuencia de varios libros de códigos y utiliza una red ligera llamada Code2Wav para sintetizar fotogramas de audio sobre la marcha. Este método reduce la demora sin sacrificar la calidad y el detalle de la voz.

Velocidad, escala e idiomas

La latencia es importante en la interacción por voz y video. Qwen3 Omni informa una latencia hasta el primer paquete de unos 234 milisegundos para audio y unos 547 milisegundos para video. La capacidad de respuesta de extremo a extremo se mantiene dentro de un factor de tiempo real incluso cuando se atienden varias solicitudes, lo que permite mantener una conversación fluida.

La cobertura lingüística es amplia. El modelo admite 119 idiomas en texto. Entiende entradas habladas en 19 idiomas y puede hablar en 10. La cobertura incluye los principales idiomas del mundo y dialectos como el cantonés. Esto ofrece a los equipos de producto una vía para crear asistentes destinados a públicos internacionales sin tener que cambiar de modelo según la región.

Las ventanas de contexto están diseñadas para sesiones largas. El modo Thinking ofrece 65.536 tokens y el modo Non Thinking, 49.152. La entrada y la salida máximas son de 16.384 tokens cada una, y la cadena de razonamiento admitida más larga alcanza los 32.768 tokens. El modelo puede analizar y resumir fragmentos de audio extensos, de hasta unos 30 minutos.

Cómo entrenó Alibaba el modelo

La comprensión de audio se basa en un Transformer de audio propio llamado AuT. Alibaba entrenó AuT desde cero con unos 20 millones de horas de audio etiquetado. La mayor parte del conjunto de datos se centra en el reconocimiento automático de voz en chino e inglés, con una proporción menor de otros idiomas y tareas dirigidas a una comprensión más amplia del audio. AuT tiene unos 600 millones de parámetros y está optimizado tanto para el almacenamiento en caché durante la transmisión como para tareas sin conexión.

El preentrenamiento se llevó a cabo en tres etapas. En una fase de alineación de codificadores, el equipo entrenó los codificadores visuales y de audio mientras mantenía congelada la arquitectura lingüística, lo que ayuda a preservar la calidad de la percepción. Después se realizó un entrenamiento general con un conjunto de datos de unos dos billones de tokens de texto, audio e imágenes, además de proporciones menores de video y datos audiovisuales. En una última fase de contexto largo, la longitud de la secuencia se amplió de 8.192 a 32.768 tokens y se incorporaron fragmentos más largos de audio y video para garantizar que el modelo pueda procesar secuencias extensas.

El posentrenamiento añadió seguimiento de instrucciones y alineación de seguridad. Para Thinker, el equipo aplicó ajuste fino supervisado, destilación de un modelo fuerte a uno débil y optimización GSPO mediante una combinación de reglas y evaluaciones de un modelo de lenguaje como juez. Talker pasó por cuatro etapas que combinaron cientos de millones de muestras de voz multimodal con preentrenamiento continuo sobre datos seleccionados. El objetivo era reducir las alucinaciones y mejorar la claridad y expresividad de la voz.

Pruebas de referencia, fortalezas y límites

En 36 pruebas de referencia públicas que abarcan texto, voz, visión y video, Alibaba informa que Qwen3 Omni ocupa el primer puesto en 22 y lidera entre los modelos abiertos en 32. Los resultados apuntan a un rendimiento sólido en tareas con gran presencia de audio y a resultados competitivos en texto y visión.

Razonamiento y redacción: en AIME25, el modelo obtiene 65,0, muy por encima del resultado de 26,7 de GPT-4o de 2024. En ZebraLogic alcanza 76,0, por delante de los 57,9 de Gemini 2.5 Flash. En WritingBench obtiene 82,6, por encima de los 75,5 de GPT-4o.

Voz y audio: en el conjunto de pruebas Wenetspeech, las tasas de error de palabras informadas son de 4,69 y 5,89, muy inferiores a las de GPT-4o, que son de 15,30 y 32,27. En LibriSpeech other, el error baja a 2,48. También destaca en clasificación musical: obtiene 93,0 en GTZAN y 52,0 en RUL MuchoMusic, por encima de GPT-4o en ambos casos.

Visión y video: obtiene 59,7 en HallusionBench, 57,0 en MMMU pro y 56,3 en MathVision full, cifras superiores a las de GPT-4o en el mismo conjunto de resultados. En la prueba de comprensión de video MLVU, Qwen3 Omni alcanza 75,2, por delante de Gemini 2.0 Flash, con 71,0, y GPT-4o, con 64,6.

Son cifras sólidas, pero los equipos deben interpretarlas en contexto. Alibaba ajustó el sistema para mantener la calidad de texto y visión, al tiempo que destaca en voz e interacción multimodal. Los primeros observadores señalan que un modelo de solo texto de la misma familia aún puede liderar en algunas tareas de lenguaje puro, una compensación habitual al pasar del entrenamiento con una sola modalidad a una arquitectura multimodal amplia. La prueba real será su rendimiento cotidiano en los procesos de producción.

Licencia abierta, acceso y precios

Qwen3 Omni se distribuye con la licencia Apache 2.0. Esta permite el uso comercial, la modificación y la redistribución, e incluye una concesión de derechos sobre patentes. Las empresas pueden integrar el modelo en sus productos, implementarlo en sus propios equipos o en servicios en la nube de confianza y comercializar productos cerrados sin revelar modificaciones propietarias. La licencia elimina los obstáculos legales más habituales que impiden a los equipos usar modelos avanzados en entornos regulados.

La familia de modelos se puede descargar desde GitHub y Hugging Face. Los equipos que prefieran una opción administrada pueden utilizar la API de Alibaba, que también ofrece una opción Flash para obtener respuestas más rápidas. Alibaba ofrece una cuota gratuita de un millón de tokens en todas las modalidades durante 90 días después de la activación, para que los equipos evalúen las capacidades antes de pagar.

Cómo se calculan los precios por token

La facturación se calcula por cada mil tokens. Un token es una unidad pequeña de texto o una representación segmentada de otros medios; es la medida común para calcular el costo de procesamiento en distintas modalidades. Alibaba publica los mismos precios por token para los modos Thinking y Non Thinking, con una excepción: la salida de audio solo está disponible en el modo Non Thinking.

Costos de entrada: la entrada de texto cuesta 0,00025 dólares por cada mil tokens, lo que equivale a unos 25 centavos por millón de tokens. La entrada de audio cuesta 0,00221 dólares por cada mil tokens, unos 2,21 dólares por millón de tokens. La entrada de imágenes y video cuesta 0,00046 dólares por cada mil tokens, unos 46 centavos por millón de tokens.

Costos de salida: la salida de texto cuesta 0,00096 dólares por cada mil tokens cuando la solicitud contiene solo texto. Si la entrada incluye imágenes o audio, la salida de texto cuesta 0,00178 dólares por cada mil tokens. Cuando se solicitan salidas de texto y audio, la parte de audio cuesta 0,00876 dólares por cada mil tokens. En este caso, el texto es gratuito.

Casos de uso disponibles hoy

Las aplicaciones centradas en audio y video pueden beneficiarse. La transcripción y traducción multilingües para atención al cliente y adaptación de contenidos audiovisuales a otros mercados pueden funcionar con un único modelo que escucha, entiende el contexto y responde con voz. La variante Captioner se centra en la descripción de audio, una función útil para etiquetar contenidos audiovisuales, supervisar emisiones y recuperar información musical.

También son adecuados los procesos visuales, como el reconocimiento óptico de caracteres, la localización de objetos y las respuestas a preguntas sobre imágenes o videos. Un agente de atención al cliente podría observar en directo la cámara de un teléfono enfocada en una computadora portátil, indicar qué cable debe revisarse y explicar los pasos a una velocidad natural. Alibaba ha mostrado una demostración de traducción en tiempo real del menú de un restaurante mediante un dispositivo portátil. Estos casos muestran por qué son importantes la baja latencia de transmisión y la calidad de voz.

Qwen3 Omni también admite el diálogo audiovisual. Puede mantener una conversación que haga referencia tanto a lo que oye como a lo que ve, conservar el contexto durante una sesión larga y ofrecer información externa pertinente cuando se conecta a herramientas. Los desarrolladores pueden definir el tono y el comportamiento mediante instrucciones de sistema, crear asistentes especializados y someter las salidas de Thinker a filtros de seguridad personalizados antes de generar voz.

Comparación con GPT-4o, Gemini 2.5 y Gemma 3n

Qwen3 Omni se suma a una categoría de modelos omni que buscan procesar muchos tipos de datos en un mismo motor. GPT-4o, de OpenAI, admite entradas de texto, imágenes y audio, y se ofrece como un servicio cerrado. Gemini 2.5 Pro, de Google, también analiza video y es cerrado. Gemma 3n, también de Google, cuenta con una licencia abierta y acepta texto, imágenes, audio y video como entradas, pero solo genera texto. El modelo de Alibaba admite las mismas cuatro entradas y añade salida de voz, una función importante para los asistentes y la traducción en directo.

La apertura es una diferencia práctica. Los pesos de Qwen3 Omni están disponibles con la licencia Apache 2.0, por lo que las empresas pueden ejecutar el modelo localmente, adaptarlo a las normas del sector y controlar los flujos de datos. Los modelos cerrados siguen dominando algunas tareas de alta exigencia, pero sus condiciones de licencia y residencia de datos pueden limitar su uso en sectores sensibles. Muchas organizaciones optarán por una arquitectura mixta, con modelos abiertos por su costo y control, y servicios de pago cuando sea difícil igualar su rendimiento.

Otra diferencia es la propuesta para su uso en producción. Alibaba ha desarrollado una amplia familia Qwen, con cientos de variantes, y afirma que cuenta con una adopción extensa entre los desarrolladores. Si la interacción de voz y video en directo de Qwen3 Omni mantiene en el uso cotidiano el nivel que muestran las pruebas de referencia, ofrecerá a los equipos una alternativa sólida cuando necesiten un asistente multilingüe, de baja latencia y alojado en sus propios sistemas.

Adopción e indicadores del mercado

La participación de los desarrolladores es visible. Qwen3 Omni ha llegado a los primeros puestos de las listas de tendencias de Hugging Face, y otros modelos de Alibaba ocupan ahora varios de los primeros lugares. Este impulso refleja un cambio más amplio: los modelos abiertos de laboratorios chinos están ganando terreno en la comunidad mundial.

Alibaba Cloud afirma que la familia Qwen ha superado los 400 millones de descargas en todo el mundo y que la empresa ha publicado más de 300 modelos desde el inicio de la serie. La reacción de los inversionistas ha sido favorable. Las acciones de Alibaba en Hong Kong subieron algo más de un 4 % el día en que Qwen3 Omni llegó a los primeros puestos de las clasificaciones comunitarias, una señal de que el mercado sigue de cerca los avances de la empresa en IA.

También existe debate sobre el significado de «abierto». Los modelos se publican con la licencia Apache 2.0 y sus pesos están disponibles, pero no es pública la receta completa para reproducir el entrenamiento a partir de datos sin procesar. Los más estrictos hablarían de pesos abiertos. Para la mayoría de las empresas, lo importante son las condiciones de la licencia, que permiten comercializar productos sin pagar tarifas por usuario o por puesto.

Qué debe tenerse en cuenta sobre seguridad y gobernanza

Las empresas se preguntarán si las mejoras informadas en las pruebas de referencia se traducen en un comportamiento previsible y seguro cuando el sistema está sometido a una gran carga. Los sistemas de voz presentan riesgos específicos, desde interpretar mal comandos hasta generar voces sintéticas convincentes. Los equipos deben establecer controles para la verificación de identidad, el filtrado de contenido y la conservación de datos. La separación entre Thinker y Talker facilita estos controles, ya que una capa de seguridad puede interceptar el texto antes de que se genere la voz.

La preparación operativa también será un aspecto importante. Las organizaciones que adoptan modelos abiertos a gran escala suelen invertir en operaciones de aprendizaje automático (MLOps), procesos de ajuste fino y evaluación. Qwen3 Omni reduce la necesidad de gestionar varios modelos, ya que procesa texto, audio, imágenes y video en un mismo lugar. Esto puede simplificar la infraestructura y acelerar los ciclos de desarrollo de productos, especialmente en implementaciones locales o en nubes soberanas que deben cumplir normas regionales.

Alibaba ha señalado los próximos pasos, entre ellos mejorar el reconocimiento de varios hablantes, el reconocimiento de texto en video, el aprendizaje a partir de audio y video combinados y las capacidades de los agentes autónomos. Estos objetivos coinciden con los aspectos que los clientes pondrán a prueba primero al pasar de proyectos piloto a la producción.

Puntos clave

• Qwen3 Omni es un modelo único que acepta texto, imágenes, audio y video, y genera texto y voz con transmisión en tiempo real.
• Alibaba publica los pesos con la licencia Apache 2.0, que permite el uso comercial, la modificación y la redistribución, e incluye una concesión de derechos sobre patentes.
• Se ofrecen tres variantes: Instruct, para una interacción completa; Thinking, para razonamientos largos con salida de texto; y Captioner, para describir audio con menos alucinaciones.
• Thinker y Talker separan el razonamiento de la generación de voz y utilizan una mezcla de expertos para mantener una latencia baja cuando hay solicitudes simultáneas.
• La latencia informada hasta el primer paquete es de unos 234 milisegundos para audio y unos 547 milisegundos para video, dentro de un factor de tiempo real.
• El modelo admite 119 idiomas en texto, entiende el habla en 19 y puede hablar en 10; también ofrece compatibilidad con dialectos como el cantonés.
• AuT, un codificador de audio de 600 millones de parámetros entrenado con unos 20 millones de horas de audio, es la base de la comprensión del habla.
• Las pruebas de referencia muestran que lidera en 22 de 36 evaluaciones y entre los modelos abiertos en 32, con resultados sólidos en voz, música, visión y video.
• Los precios de la API empiezan en 0,00025 dólares por cada mil tokens de entrada de texto y 0,00096 dólares por cada mil tokens de salida de texto. Hay una prueba gratuita de un millón de tokens durante 90 días.
• La adopción en Hugging Face avanza con rapidez, y Alibaba informa de cientos de millones de descargas de Qwen mientras las empresas evalúan modelos abiertos para su uso en producción.