Alibaba presenta Qwen3-Omni, un modelo multimodal de inteligencia artificial de código abierto

Un competidor multimodal nativo pasa a ser de código abierto

Alibaba presentó Qwen3-Omni, un modelo de inteligencia artificial multimodal nativo que acepta texto, imágenes, audio y video como entradas y responde con texto o voz sintetizada. El modelo está disponible como código abierto bajo la licencia Apache 2.0, que permite el uso comercial, la modificación y la redistribución, e incluye una licencia de patentes. La combinación de capacidades amplias y una licencia permisiva sitúa a Qwen3-Omni en competencia directa con los principales sistemas cerrados de Estados Unidos y, al mismo tiempo, reduce las barreras de adopción para empresas emergentes, investigadores y grandes compañías.

Qwen3-Omni se suma al giro de la industria hacia los modelos omni, una categoría de sistemas diseñados para comprender y actuar en distintas modalidades en tiempo real. A diferencia de las soluciones que añaden voz o visión a un modelo de texto, Alibaba afirma que Qwen3-Omni se creó como un sistema multimodal integral. Procesa directamente audio y video mientras razona, y genera voz mediante un módulo específico, por lo que puede mantener el ritmo, el tono y el contexto de una conversación sin esperar a que terminen de procesarse archivos completos.

La primera versión se centra en una familia de 30.000 millones de parámetros que utiliza una arquitectura de mezcla de expertos para mantener la inferencia rápida y escalable. Alibaba informa que la latencia del primer paquete puede ser de tan solo 234 milisegundos para audio y 547 milisegundos para video, con un RTF (factor de tiempo real) inferior a uno incluso con solicitudes simultáneas. El sistema admite 119 idiomas para texto, 19 para la entrada de voz y 10 para la salida de voz, lo que abre posibilidades para asistentes multilingües, centros de atención telefónica y traducción en directo.

El lanzamiento llega mientras Alibaba posiciona su negocio en la nube como proveedor de inteligencia artificial de pila completa y los modelos abiertos chinos ganan popularidad en plataformas para desarrolladores. En pocos días, distintas versiones de Qwen3-Omni llegaron a los primeros puestos de las clasificaciones de tendencias de Hugging Face, lo que refleja el gran interés de la comunidad internacional. La compañía también ofrece una versión más rápida de la API y aloja los pesos del modelo para su descarga directa y ejecución local.

Qué distingue a Qwen3-Omni

Qwen3-Omni está diseñado para razonar y hablar en paralelo. El componente Thinker se encarga del razonamiento multimodal. El componente Talker convierte los resultados de Thinker en voz natural, condicionada directamente por características de audio y visuales. Esta separación permite a los desarrolladores incorporar recuperación de información, controles de seguridad o lógica empresarial en la etapa de Thinker antes de que se pronuncie palabra alguna, algo útil en procesos sujetos a regulación.

Thinker y Talker

Thinker es un modelo de lenguaje grande entrenado con texto, voz, imágenes y video, a partir de unos 2 billones de tokens. Utiliza enrutamiento de mezcla de expertos, de modo que solo se activa un pequeño subconjunto de parámetros por token. Esto reduce el costo de cómputo y aumenta el rendimiento. Talker es un generador de voz ligero que utiliza un esquema autorregresivo de múltiples libros de códigos para preservar el timbre y la prosodia, y una red compacta Code2Wav para generar audio rápidamente.

Transmisión en tiempo real y almacenamiento en caché

La latencia importa en una conversación. Alibaba informa que la transmisión permite escuchar el primer token en aproximadamente un cuarto de segundo en contextos de audio y en alrededor de medio segundo en contextos de video. El sistema de audio incluye un nuevo codificador Audio Transformer, entrenado con 20 millones de horas de audio supervisado, en su mayoría datos de reconocimiento automático del habla en chino e inglés, con cobertura internacional para otros idiomas. El codificador permite tanto el almacenamiento en caché en línea para llamadas en directo como la codificación fuera de línea para tareas por lotes.

Idiomas y contexto extenso

Los desarrolladores pueden utilizar instrucciones y transcripciones extensas. El modo Thinking admite hasta 65.536 tokens de contexto, con cadenas de razonamiento de hasta 32.768 tokens. El modo Non Thinking admite hasta 49.152 tokens. El modelo acepta hasta 16.384 tokens de entrada y puede generar hasta 16.384 tokens de texto. Actualmente, el sistema de voz cubre 10 idiomas de salida, un rango práctico para pruebas internacionales en atención al cliente y servicios en campo.

Modelos, modos y precios

Alibaba lanza tres variantes de la familia 30B para que los equipos puedan adaptarlas a distintas necesidades. El modelo Instruct combina toda la arquitectura Thinker y Talker para recibir audio, video y texto, y generar texto y voz. El modelo Thinking se centra en el razonamiento complejo y las cadenas de pensamiento extensas. Utiliza las mismas entradas multimodales, pero solo genera texto, por lo que resulta adecuado para investigación, análisis y registros empresariales sujetos a requisitos de cumplimiento. El modelo Captioner es una variante especializada, ajustada para crear subtítulos de audio. Busca describir con precisión música, voz y audio mixto, con una baja tasa de alucinaciones.

Qwen3-Omni está disponible para descargar en plataformas de modelos, en GitHub para acceder al código y los pesos, y mediante una API de Alibaba Cloud, que incluye una opción Flash más rápida para servicios interactivos. Los nuevos usuarios reciben una cuota gratuita de un millón de tokens, válida durante 90 días desde la activación. El uso de pago se cobra por cada mil tokens. La entrada de texto cuesta 0,00025 dólares; la de imágenes o video, 0,00046 dólares; y la de audio, 0,00221 dólares. Para la salida, el texto cuesta 0,00096 dólares si solo se ha introducido texto, y 0,00178 dólares si la entrada incluye imágenes o audio. Cuando los desarrolladores solicitan texto y audio de salida, la parte de audio cuesta 0,00876 dólares por cada mil tokens y la parte de texto es gratuita.

La salida de audio solo está disponible en el modo Non Thinking mediante la API. Esta decisión simplifica la programación de la voz en transmisión y evita conflictos con procesos de razonamiento estructurado de larga duración. Los equipos que necesiten cadenas de pensamiento detalladas pueden seguir utilizando el modelo Thinking para planificar o recuperar información y, después, enviar la respuesta final a un generador de audio o al modelo Instruct para que la exprese oralmente.

Pruebas de rendimiento y cómo interpretarlas

Alibaba informa de resultados sólidos en 36 pruebas públicas: obtuvo puntuaciones de vanguardia en 22 y lideró entre los modelos abiertos en 32. Las cifras apuntan a un sistema equilibrado que mantiene la calidad del texto y la visión, a la vez que mejora el rendimiento en voz. Entre los resultados destacados figuran tareas de razonamiento en las que Qwen3-Omni alcanza 65,0 en AIME25 y 76,0 en ZebraLogic. En WritingBench obtiene 82,6. En transcripción de audio, registra tasas de error por palabra de 4,69 y 5,89 en Wenetspeech, además de 2,48 en Librispeech other, una cifra muy baja para ese conjunto de datos. Las puntuaciones de etiquetado y clasificación musical, como 93,0 en GTZAN y 52,0 en RUL-MuchoMusic, indican una buena capacidad para reconocer géneros y características del audio.

Las pruebas de visión y matemáticas también muestran resultados sólidos. Qwen3-Omni obtiene 59,7 en HallusionBench, 57,0 en MMMU_pro y 56,3 en MathVision_full. En comprensión de video, registra 75,2 en MLVU. Según las cifras publicadas por Alibaba, esos resultados lo sitúan por encima de muchos modelos cerrados en esas pruebas concretas, incluidos GPT 4o y Gemini 2.0 Flash.

Las pruebas de rendimiento no reflejan todas las situaciones que enfrentan los usuarios. Las conversaciones reales pueden tener más ruido, los acentos varían, la iluminación cambia y las tareas empresariales suelen combinar varias herramientas. Las primeras evaluaciones independientes señalan que los modelos más pequeños a veces tienen dificultades fuera de pruebas controladas, aunque destaquen en las clasificaciones. Los desarrolladores deberían realizar pruebas de concepto con sus propios datos, sobre todo en casos límite como la jerga especializada, los diagramas específicos o las voces superpuestas.

Comparación con GPT 4o, Gemini y Gemma

Qwen3-Omni se incorpora a un campo competitivo en el que figuran GPT 4o, de OpenAI, y Gemini 2.5, de Google. Estos sistemas son potentes y ya están integrados en grandes plataformas, pero son de código cerrado. Los usuarios pagan por cada solicitud y no pueden modificar legalmente los modelos base ni redistribuirlos. Qwen3-Omni se distribuye bajo la licencia Apache 2.0, de carácter permisivo, que autoriza el uso comercial, la modificación del código y los pesos, y su redistribución. También incluye una licencia de patentes. Esta combinación reduce los riesgos legales para las empresas que necesitan integrar la inteligencia artificial directamente en sus productos o en infraestructuras privadas.

En cuanto a sus funciones, Qwen3-Omni acepta texto, imágenes, audio y video, y puede responder con texto o voz. GPT 4o acepta texto, imágenes y audio como entrada, y responde con texto y voz, pero en su configuración principal no admite clips de video como entrada. Gemini 2.5 Pro puede analizar video y ofrece respuestas de texto y voz mediante los servicios de Google. Alibaba presenta Qwen3-Omni como un sistema multimodal nativo, en el que la voz y la visión son funciones centrales, no adaptaciones añadidas a un modelo basado en texto.

Google también ofrece Gemma 3n como código abierto bajo la licencia Apache 2.0. Gemma 3n acepta video, audio, texto e imágenes, pero solo genera texto. Para los equipos que buscan una pila totalmente abierta con salida de voz en directo, Qwen3-Omni podría ser la única opción actual con una licencia permisiva y generación de voz integrada.

Por qué importa Apache 2.0 para quienes adoptan el modelo

La licencia determina dónde se puede ejecutar un modelo y cómo se puede incorporar a un producto. Apache 2.0 permite ajustar el modelo y redistribuirlo de forma cerrada sin exigir la publicación de los modelos derivados. Incluye una licencia de patentes y una licencia para las contribuciones. Para los sectores regulados que examinan los derechos de propiedad intelectual, estas condiciones reducen los riesgos de integración. Las empresas pueden ejecutar Qwen3-Omni en sus propios servidores, en la nube que elijan o en dispositivos periféricos, y mantener privados sus modelos personalizados.

Usos empresariales y para desarrolladores

Qwen3-Omni está dirigido a una amplia variedad de tareas. Su sistema multilingüe de texto y voz puede utilizarse para transcribir llamadas en centros de atención y traducir en directo entre 19 idiomas de entrada y 10 de salida. El modelo Captioner puede describir música, sonidos ambientales y clips de audio mixto para editores, archivistas y herramientas de asistencia. El sistema de visión interpreta capturas de pantalla y fotografías para el reconocimiento óptico de caracteres y el análisis de diseños, lo que ayuda a automatizar procesos administrativos y la incorporación de clientes.

La comprensión de video es una de sus capacidades distintivas. Un agente de atención al cliente puede analizar un clip breve grabado con un teléfono para identificar una luz de error o un cable conectado incorrectamente. Una aplicación de mantenimiento puede observar una transmisión en directo para confirmar que se ha abierto una válvula. Como Thinker y Talker funcionan en paralelo, el sistema puede empezar a hablar mientras sigue procesando los fotogramas recibidos, lo que mantiene un ritmo similar al humano en situaciones en las que se necesitan las manos libres.

La separación explícita entre razonamiento y expresión oral da control a los desarrolladores. Los sistemas de recuperación pueden incorporar documentos de la empresa. Los filtros de políticas pueden revisar el contenido. Los controles de seguridad pueden examinar las trazas de razonamiento antes de que Talker genere audio. Este enfoque es adecuado para asistentes de consumo que deben mantener la identidad de una marca, sistemas empresariales de resumen que deben evitar filtraciones de datos y herramientas de campo que requieren instrucciones paso a paso.

Uso de herramientas y agentes

Qwen3-Omni puede conectarse a herramientas y servicios externos para tareas complejas. Esto incluye realizar búsquedas, consultar bases de datos o activar motores de flujo de trabajo. Alibaba también está desarrollando marcos de agentes en su plataforma en la nube para que los equipos de desarrollo con poco o mucho código puedan combinar herramientas, programar tareas e implementar soluciones en producción. Con ventanas de contexto de más de 49.000 tokens en el modo Non Thinking, el modelo puede mantener sesiones extensas de varios pasos y recordar acciones anteriores.

Adopción, mercados y estrategia

El interés de los desarrolladores ha sido inmediato. Varias versiones de la familia Qwen3 ocupan algunos de los primeros puestos en las clasificaciones de tendencias de las principales plataformas de modelos, y Qwen3-Omni-30B-A3B suele situarse en el primero. Esa visibilidad refleja una ola más amplia de modelos abiertos chinos que están captando la atención de investigadores y empresas.

Las señales del mercado apuntan en la misma dirección. Las acciones de Alibaba subieron ante la creciente confianza en el impulso de la compañía en inteligencia artificial y servicios en la nube, junto con nuevas mejoras de las recomendaciones de analistas y un renovado interés de fondos internacionales. La empresa está ampliando su red de centros de datos para atender a clientes fuera de China, con nuevas instalaciones en Brasil, Francia y Países Bajos, además de capacidad adicional prevista en otras regiones. Alibaba también está invirtiendo fuertemente en infraestructura de inteligencia artificial: se ha comprometido a gastar decenas de miles de millones de dólares durante los próximos tres años y ha señalado que aumentará el gasto total de capital en inteligencia artificial.

Las alianzas en hardware forman parte del plan. Alibaba anunció una colaboración de software con Nvidia para integrar herramientas de desarrollo de inteligencia artificial en ámbitos como el entrenamiento, la simulación y la validación. La compañía también presentó un modelo Qwen3 Max de mayor tamaño, con más de un billón de parámetros, para la generación avanzada de código y el comportamiento de agentes. Esto muestra cómo Qwen3-Omni forma parte de una familia más amplia, que abarca desde asistentes interactivos hasta modelos de investigación de gran capacidad.

Declaraciones de Alibaba

El director ejecutivo de Alibaba Group, Eddie Wu, marcó el tono en la conferencia anual de la compañía en Hangzhou, donde describió la inteligencia artificial y la nube como los dos motores de la próxima etapa de crecimiento. También expuso planes para ampliar los centros de datos internacionales y reforzar las alianzas en torno al entrenamiento y la implementación.

Wu explicó en sus declaraciones por qué la compañía está aumentando su inversión en inteligencia artificial.

La inteligencia artificial y la nube son, junto con el comercio electrónico, los motores de crecimiento de Alibaba. Ampliaremos el gasto y la capacidad para responder a la demanda mundial.

Lin Junyang, investigador del equipo Qwen, explicó cómo el proyecto reunió trabajos anteriores sobre voz y visión para crear el nuevo sistema.

Combinamos proyectos fundamentales de audio e imagen para crear Qwen3 Omni.

Riesgos, límites y aspectos que conviene observar

Incluso unos resultados sólidos en las pruebas dejan preguntas que solo puede responder el uso en producción. El audio del mundo real puede incluir mucho ruido de fondo, conversaciones simultáneas o acentos poco frecuentes. Los videos suelen presentar reflejos, desenfoque por movimiento u objetos que ocultan partes de la escena. Si su servicio requiere una tasa de acierto muy alta en diagramas especializados o transcripciones con garantías de cumplimiento en un ámbito concreto, reserve tiempo para preparar los datos y ajustar el modelo al dominio.

La versión actual admite 10 idiomas de salida de voz, lo que ya cubre muchos mercados, pero los equipos que necesiten idiomas menos comunes tendrán que recurrir a la salida de texto o a motores de voz de terceros. La separación entre Thinker y Talker también implica tomar decisiones. Algunas organizaciones pueden preferir mantener el razonamiento extenso estrictamente en texto y sintetizar la voz solo para las respuestas finales. Otras aceptarán respuestas más breves a cambio de respuestas habladas más rápidas. Estas opciones deben evaluarse en función de los objetivos de experiencia del usuario.

La licencia de código abierto es una ventaja para quienes desarrollan productos, pero también significa que cualquiera puede adaptar el modelo. Las empresas deberían utilizar filtros de contenido, sistemas de detección de abusos y supervisión del uso para prevenir usos indebidos. Por otra parte, Apache 2.0 incluye una licencia de patentes que reduce los riesgos de propiedad intelectual para quienes adoptan el modelo, un factor clave para los equipos de cumplimiento empresarial.

La oportunidad es contar con un asistente multimodal capaz de razonar sobre texto, imágenes y sonido con una velocidad casi humana. Si Qwen3-Omni sigue demostrando su eficacia fuera de las evaluaciones controladas, podría convertirse en la opción predeterminada para los equipos que buscan control local, costos previsibles y una amplia comunidad de desarrolladores.

Aspectos destacados

• Qwen3-Omni acepta texto, imágenes, audio y video, y genera texto y voz.
• El modelo es de código abierto bajo la licencia Apache 2.0, que incluye una licencia de patentes para uso comercial.
• Thinker se encarga del razonamiento y Talker genera la voz; ambos utilizan una arquitectura de mezcla de expertos para ofrecer mayor velocidad.
• La latencia informada del primer paquete es de 234 milisegundos para audio y 547 milisegundos para video.
• Admite 119 idiomas para texto, 19 para la entrada de voz y 10 para la salida de voz.
• Hay tres variantes disponibles: Instruct, Thinking y Captioner.
• El precio de la API parte de 0,00025 dólares por cada mil tokens de texto, y se ofrece una prueba gratuita de un millón de tokens.
• Los resultados de las pruebas muestran un desempeño destacado en numerosos conjuntos de pruebas de voz, video y razonamiento.
• Las posiciones en las clasificaciones de Hugging Face y el interés de los inversionistas indican una rápida adopción.
• Alibaba está ampliando sus centros de datos y reforzando su colaboración con Nvidia, a la vez que amplía la familia Qwen3.