Alibaba presenta Qwen3 Omni, un modelo multimodal de IA de código abierto

Un nuevo competidor de código abierto en IA multimodal

Alibaba presentó Qwen3 Omni, un amplio modelo multimodal capaz de leer textos, analizar imágenes, escuchar audio y ver videos. Responde por escrito y con voz natural. La empresa lo describe como un modelo omnidireccional nativo de principio a fin. Esto significa que fue diseñado desde el inicio para procesar conjuntamente todas esas entradas, en lugar de tratar el habla o la visión como funciones añadidas. Su lanzamiento llega mientras muchas organizaciones sopesan los costos y las ventajas de control de los modelos de código abierto frente a sistemas propietarios como GPT 4o y Gemini 2.5 Pro. La principal diferencia es el acceso. Qwen3 Omni se distribuye con la licencia Apache 2.0, un marco permisivo que permite el uso comercial gratuito, la modificación y la redistribución. Esto reduce las barreras para los equipos que quieren alojar el modelo por su cuenta o lanzar productos sin tarifas por usuario ni dependencia de un proveedor.

Qwen3 Omni también va más allá de la tríada habitual de texto, imagen y audio. Puede analizar videos, una capacidad que hasta ahora se ha limitado principalmente a plataformas cerradas. El modelo admite 119 idiomas para texto, 19 para entradas de voz y 10 para salidas de voz; cubre los principales idiomas y algunos dialectos, como el cantonés. Los primeros materiales destacan una capacidad de respuesta en streaming que resulta conversacional, en lugar de procesar los datos por lotes: el primer paquete de audio llega en aproximadamente un cuarto de segundo y el de video, en alrededor de medio segundo. Es un umbral importante para asistentes que interrumpen, aclaran dudas y transfieren tareas rápidamente en situaciones en tiempo real, como llamadas de soporte o guías móviles.

El lanzamiento incluye tres variantes adaptadas a distintas tareas. Instruct es el modelo conversacional con todas las funciones; Thinking se centra en el razonamiento complejo y las cadenas largas de pensamiento, con respuestas de texto; y Captioner está especializado en describir audio, una tarea en la que es importante reducir las alucinaciones. Los desarrolladores pueden acceder a los pesos en plataformas populares de modelos, utilizar una API con una opción Flash más rápida o ajustar el modelo para controlar su dominio y estilo. Las pruebas comparativas divulgadas por la empresa muestran buenos resultados en tareas de voz, audio y video, a la vez que mantiene un rendimiento competitivo en texto y visión.

Qué diferencia a Qwen3 Omni

Varias decisiones técnicas distinguen a Qwen3 Omni. En primer lugar, su proceso de entrenamiento combina desde el inicio datos unimodales y multimodales, y luego sigue ampliándose durante el preentrenamiento y el posentrenamiento. En segundo lugar, el modelo utiliza una arquitectura de mezcla de expertos que activa un pequeño subconjunto de parámetros para cada token. Esto puede aumentar el rendimiento y reducir los costos de inferencia, algo importante para las aplicaciones en tiempo real y el despliegue con limitaciones de hardware. En tercer lugar, el sistema separa el razonamiento y el habla en dos componentes coordinados llamados Thinker y Talker. Thinker se encarga del trabajo más exigente de comprensión y razonamiento multimodal. Talker convierte las representaciones de alto nivel en voz, preservando el ritmo y el carácter.

Tres variantes para distintas necesidades

Alibaba Cloud lanzó tres opciones de la familia Qwen3 Omni 30B A3B, para que los equipos puedan elegir la más adecuada:

• Instruct combina Thinker y Talker para procesar texto, imágenes, audio y video, y producir respuestas tanto de texto como de voz.
• Thinking se centra en el razonamiento profundo y las cadenas largas de pensamiento, acepta las mismas entradas multimodales y solo genera texto.
• Captioner está dirigido a la descripción de audio con pocas alucinaciones; puede ser útil para analizar medios, mejorar la accesibilidad y moderar contenidos.

La API añade una variante Flash, diseñada para reducir la latencia y admitir más solicitudes simultáneas. Esto puede ser importante para crear un asistente de centro de llamadas o una guía de compras que deba gestionar picos de tráfico sin retrasar las respuestas.

La arquitectura Thinker y Talker

Qwen3 Omni divide las tareas para mantener la naturalidad del habla y, al mismo tiempo, ofrecer flexibilidad en el razonamiento. Thinker es el núcleo multimodal del modelo. Alinea y combina características de texto, imágenes, audio y video, y luego genera representaciones a nivel de token que determinan la respuesta. Talker es un generador de voz específico. En lugar de recibir la salida de Thinker como texto, se basa directamente en características de audio y visuales. Este diseño ayuda a Talker a ajustar la prosodia y el timbre a lo que ve y oye, lo que mejora la traducción y aspectos de la interpretación de voz, como el ritmo, el énfasis y el tono emocional.

Para reducir la latencia de voz, Talker utiliza un esquema autorregresivo de múltiples libros de códigos que predice tokens acústicos discretos; después, una red convolucional ligera llamada Code2Wav convierte esos tokens en ondas de sonido. Como Talker está desacoplado del texto de Thinker, los módulos externos pueden influir en las respuestas de Thinker o filtrarlas antes de generar la voz. Esto facilita la aplicación de medidas de seguridad, ya que las comprobaciones de políticas y los pasos de recuperación de información pueden ejecutarse entre el razonamiento y la respuesta hablada. El rendimiento en streaming es fundamental. Según las cifras de la empresa, el primer paquete de audio llega en unos 234 milisegundos y el primer paquete de video, en unos 547 milisegundos. El sistema se mantiene por debajo de un factor de tiempo real, lo que significa que puede generar audio más rápido que su duración de reproducción, incluso al procesar varias solicitudes.

La arquitectura utiliza una mezcla de expertos tanto para Thinker como para Talker. En este tipo de arquitectura, el modelo consta de muchas redes pequeñas especializadas y una red de compuertas dirige cada token a unas pocas de ellas. Solo se ejecuta una pequeña parte de los parámetros para cada token, lo que permite procesar muchas solicitudes simultáneas y ayuda a mantener una inferencia ágil. Para los desarrolladores, esto puede marcar la diferencia entre un asistente que interrumpe y mantiene una interacción, y un bot que espera su turno para hablar.

Cómo se creó y qué admite

El rendimiento de audio comienza con el codificador. Qwen3 Omni incorpora un Transformer de audio, creado desde cero y entrenado con aproximadamente 20 millones de horas de datos supervisados. La mezcla de entrenamiento contiene sobre todo datos de reconocimiento automático del habla en chino e inglés, además de datos de otros idiomas y tareas centradas en la comprensión de audio. El codificador tiene unos 600 millones de parámetros, admite cachés de streaming para reducir la latencia y puede funcionar sin conexión en tareas de análisis, como el procesamiento de grabaciones largas. Este codificador alimenta el núcleo multimodal mediante etapas de alineación, para que el modelo pueda razonar a través de distintos formatos.

El preentrenamiento tuvo tres etapas. Durante la alineación del codificador, se entrenaron y alinearon los codificadores de visión y audio mientras el modelo de lenguaje permanecía congelado. En el entrenamiento general, el equipo amplió el corpus hasta unos 2 billones de tokens que incluyen texto, audio, imágenes y algunos pares de video y audio-video. En el entrenamiento de contexto largo, la longitud máxima pasó de 8.192 a 32.768 tokens, al tiempo que se incorporaron más secuencias largas de audio y video. El posentrenamiento incluyó ajuste fino supervisado, destilación a partir de modelos más capaces y optimización de políticas basada tanto en reglas como en evaluaciones de modelos para Thinker. Talker se sometió a un proceso de cuatro etapas que utilizó cientos de millones de muestras de voz multimodal combinadas con preentrenamiento continuo, con el objetivo de reducir las alucinaciones y mejorar la calidad de la voz.

Las capacidades y los límites son amplios para una familia de 30.000 millones de parámetros. Qwen3 Omni admite 119 idiomas en texto, 19 para entradas de voz y 10 para salidas de voz. El modo Thinking permite una ventana de contexto de 65.536 tokens; el modo Non Thinking admite 49.152 tokens; y el modelo acepta hasta 16.384 tokens de entrada y genera hasta 16.384 tokens de salida. La cadena de pensamiento más larga puede llegar a 32.768 tokens. Esa capacidad ayuda a procesar transcripciones complejas, reuniones largas o bases de código y documentos que superarían los límites de otros modelos si no se dividieran en partes.

Pruebas comparativas, fortalezas y cómo interpretar los resultados

En un conjunto amplio de 36 pruebas comparativas, Alibaba informa que Qwen3 Omni obtiene las mejores puntuaciones en 22 y lidera entre los modelos de código abierto en 32. En texto y razonamiento, alcanza 65,0 en AIME25, muy por encima de la cifra divulgada para GPT 4o, de 26,7, y 76,0 en ZebraLogic, frente a los 57,9 publicados para Gemini 2.5 Flash. En WritingBench obtiene 82,6, frente a los 75,5 de GPT 4o. En voz y audio, las tasas de error de palabras en Wenetspeech son de 4,69 y 5,89 en dos divisiones de prueba habituales, muy por debajo de los 15,30 y 32,27 divulgados para GPT 4o. En Librispeech other, la tasa de error de palabras baja a 2,48, una cifra baja entre los modelos comparables.

En imagen y visión, obtiene 59,7 en HallusionBench, 57,0 en MMMU pro y 56,3 en MathVision full; según el informe de la empresa, en todos los casos supera a GPT 4o. En comprensión de video alcanza 75,2 en MLVU, por encima de las cifras indicadas para Gemini 2.0 Flash, de 71,0, y GPT 4o, de 64,6. También mejora en tareas musicales, con 93,0 en GTZAN y 52,0 en RUL MuchoMusic. Estas cifras reflejan de manera coherente el enfoque de diseño. Qwen3 Omni establece un estándar elevado en comprensión de audio y contenido audiovisual, al tiempo que mantiene buenas capacidades de texto e imagen.

Las pruebas comparativas son útiles, pero siguen siendo evaluaciones controladas. Los conjuntos de datos y los métodos de puntuación pueden favorecer determinadas mezclas de entrenamiento. El uso real plantea otros desafíos, como micrófonos con ruido, acentos, cámaras de teléfono en condiciones difíciles y cambios rápidos de contexto. Los modelos multimodales también afrontan un compromiso habitual: entrenarlos para abarcar varias modalidades puede reducir ligeramente su rendimiento en tareas exclusivamente de texto frente a modelos más grandes y centrados primero en el texto. Los equipos deberían realizar pruebas piloto específicas con sus propios datos y, después, elegir una estrategia con varios modelos si es necesario. Muchas empresas combinan un modelo multimodal más pequeño, que escucha y observa, con uno de texto más grande que redacta informes o correos electrónicos. La licencia Apache de código abierto facilita esa coordinación sin complicaciones en los procesos de adquisición.

Comparación con GPT 4o, Gemini 2.5 Pro y Gemma 3n

OpenAI marcó las expectativas con GPT 4o, que unificó texto, imágenes y audio con una estrecha integración y voz natural. Qwen3 Omni añade el análisis de video a la lista de entradas. Google ofrece análisis de video en Gemini 2.5 Pro, pero el modelo sigue siendo propietario. Google también ofrece Gemma 3n como modelo de código abierto, que acepta texto, imágenes, audio y video, pero solo genera texto. Qwen3 Omni genera texto y voz, lo que amplía las posibilidades de interacción, por ejemplo, la traducción en directo o la transferencia de tareas en centros de llamadas.

Otro aspecto que los diferencia es la licencia. Qwen3 Omni se publica con la licencia Apache 2.0 y una licencia de patentes, que permiten a las empresas usarlo, modificarlo y distribuir productos sin tener que divulgar el código fuente ni pagar tarifas por uso. Los modelos cerrados requieren acceso de pago y limitan el uso a la plataforma de un proveedor. Hay un matiz habitual en los lanzamientos de modelos abiertos modernos: los pesos y el código de uso son públicos, pero la receta completa para reconstruir el modelo desde cero, incluidos los datos de entrenamiento seleccionados, normalmente no lo es. Para muchos usuarios, el objetivo principal es poder ejecutar el modelo, ajustarlo e integrarlo en productos; todo eso es posible en este caso.

La latencia es competitiva. Alibaba indica que el primer paquete de audio llega en unos 234 milisegundos y el de video, en unos 547 milisegundos. Esto lo sitúa en la misma categoría que los mejores sistemas conversacionales. Las empresas deben evaluar los objetivos de nivel de servicio más allá del tiempo hasta el primer paquete, incluidos el tiempo necesario para obtener contenido estable y el tiempo total de respuesta para contestaciones largas. Qwen3 Omni también ofrece una variante Flash de la API para responder aún más rápido, similar a las opciones centradas en la velocidad de otros ecosistemas.

Acceso, precios y cuota gratuita

Los desarrolladores pueden probar Qwen3 Omni de varias maneras. Los pesos están disponibles en las principales plataformas de modelos. La API ofrece acceso bajo demanda y una cuota gratuita de un millón de tokens entre todas las modalidades durante 90 días después de la activación. Los precios se calculan por cada mil tokens. La entrada de texto cuesta 0,00025 dólares. La entrada de audio cuesta 0,00221 dólares. La entrada de imágenes y video cuesta 0,00046 dólares. La salida de texto cuesta 0,00096 dólares por cada mil tokens cuando las entradas son solo de texto, o 0,00178 dólares si incluyen imágenes o audio. Si se solicita una salida de texto y audio, la parte de audio cuesta 0,00876 dólares por cada mil tokens y la parte de texto es gratuita.

Estos precios son bajos en comparación con muchas ofertas cerradas y permiten experimentar sin incurrir en grandes gastos. Según la empresa, el precio es el mismo para los modos Thinking y Non Thinking. La generación de audio está limitada al modo Non Thinking. La plataforma también muestra los límites de contexto y las opciones de modelos en Model Studio, donde las empresas pueden elegirlos según su velocidad, calidad y costo. Los detalles oficiales están disponibles en las páginas de Alibaba Cloud Model Studio en este enlace.

Usos, desde los servicios de asistencia hasta las herramientas multimedia

Qwen3 Omni está pensado para tareas en las que ver, escuchar y hablar marcan la diferencia. Algunos ejemplos ilustran su variedad de usos:

• Asistencia técnica en directo. Un asistente puede observar la imagen de la cámara de un teléfono mientras escucha al cliente y luego ofrecer instrucciones paso a paso con voz natural.
• Transcripción y traducción multilingües. El modelo transcribe reuniones, llamadas o clases en varios idiomas, luego genera un resumen en inglés o responde oralmente en otro idioma.
• Descripción de audio y etiquetado musical. La variante Captioner genera descripciones de audio con pocas alucinaciones, incluidos sonidos de fondo y características musicales, útiles para búsquedas y gestión de derechos.
• Comprensión de video. El modelo puede responder preguntas sobre lo ocurrido en un clip, seguir eventos y resumir escenas.
• Reconocimiento óptico de caracteres y procesamiento de documentos. La combinación de visión y lenguaje ayuda a extraer campos de formularios o recibos y luego validarlos en contexto.
• Asistentes para consumidores. Los dispositivos portátiles y los teléfonos pueden utilizar el modelo para traducir menús, identificar lugares emblemáticos y ofrecer funciones de accesibilidad, como describir el entorno.

Los desarrolladores pueden ajustar el estilo de conversación y la personalidad mediante instrucciones del sistema. El modelo también admite el uso de herramientas, de modo que puede recurrir a servicios externos para recuperar información, hacer cálculos o consultar bases de datos. Esto permite patrones de trabajo propios de agentes, en los que el modelo planifica, usa herramientas y comunica los resultados por voz.

Licencia y repercusiones para las empresas

La licencia Apache 2.0 es una parte importante de la propuesta. Permite el uso comercial, la modificación y la redistribución, e incluye una licencia de patentes que reduce los riesgos legales al integrar el modelo en sistemas propietarios. Las empresas pueden incorporar Qwen3 Omni a sus productos o flujos de trabajo internos sin pagar tarifas al proveedor y sin tener que publicar sus modificaciones como código abierto. Esto resulta atractivo para sectores regulados que requieren controlar el flujo de datos y su registro. Los pesos abiertos también permiten desplegar el modelo en las instalaciones de la empresa o alojarlo en una nube de confianza.

El lanzamiento de un modelo abierto no resuelve automáticamente todos los problemas. Los datos de entrenamiento y el código completo del proceso de entrenamiento no suelen estar incluidos, por lo que la comunidad no puede reproducir todo el desarrollo. Para muchas empresas, esto es aceptable, ya que su prioridad es ejecutar el modelo, personalizarlo y cumplir los objetivos de nivel de servicio. El lanzamiento refuerza el argumento a favor de las arquitecturas con varios modelos. Los equipos pueden combinar un modelo multimodal abierto y rápido con otro propietario de mayor tamaño cuando sea conveniente, o mantener todo el sistema abierto para evitar limitaciones de plataforma. En cualquier caso, disponer de un modelo capaz de procesar video y generar voz con una licencia permisiva amplía las posibilidades de desarrollo sin largas negociaciones.

Riesgos, medidas de protección y aspectos que conviene evaluar

Los modelos multimodales plantean cuestiones de seguridad y protección que van más allá del texto. Las entradas de audio y video pueden contener información confidencial. La voz generada puede inducir a error si no se basa en información verificada o no se filtra. Alibaba describe una etapa de control en la que módulos externos pueden interceptar las respuestas de Thinker antes de que Talker las convierta en voz. Este diseño permite aplicar comprobaciones de políticas, recuperar información o utilizar filtros de equipos especializados en pruebas de seguridad. Aun así, las empresas deben validar la seguridad de los contenidos en su propio entorno y región, incluidas las defensas contra la inyección de instrucciones, los controles de privacidad y el consentimiento para grabar o analizar.

Las afirmaciones sobre el rendimiento deben contrastarse con datos reales. Los acentos, la jerga especializada y el ruido de fondo pueden deteriorar la calidad del reconocimiento automático del habla. La poca luz o el desenfoque por movimiento pueden afectar la comprensión visual. El uso de herramientas y la coordinación de agentes introducen nuevas formas de fallo, como llamadas incorrectas a herramientas o ciclos repetitivos. Se necesitan políticas de gobernanza para el registro de datos, la revisión humana y la reversión de cambios. Por último, la infraestructura es importante. La generación de voz en tiempo real a gran escala requiere una planificación cuidadosa del rendimiento, la memoria de las GPU y la reducción de la carga. La mezcla de expertos ayuda a mejorar la eficiencia, pero los equipos deben dimensionar los clústeres y las cachés para atender los picos de demanda y los contextos largos.

Puntos clave

• Alibaba lanzó Qwen3 Omni como modelo abierto con licencia Apache 2.0, capaz de generar texto y voz y de procesar texto, imágenes, audio y video.
• El sistema utiliza el diseño Thinker y Talker, con una arquitectura de mezcla de expertos que permite atender solicitudes simultáneas y generar voz en streaming con baja latencia.
• La latencia indicada hasta el primer paquete es de unos 234 milisegundos para audio y unos 547 milisegundos para video, con un factor de tiempo real inferior a uno.
• Hay tres variantes: Instruct para una interacción completa, Thinking para el razonamiento profundo con respuestas de texto y Captioner para describir audio.
• El entrenamiento incluye un Transformer de audio personalizado, entrenado con aproximadamente 20 millones de horas de datos, y un corpus multimodal de unos 2 billones de tokens.
• En las pruebas comparativas divulgadas por la empresa, Qwen3 Omni lidera en numerosas evaluaciones de audio, video y razonamiento, y mantiene resultados competitivos en texto y visión.
• El precio por cada mil tokens es bajo; la API ofrece una cuota gratuita de un millón de tokens durante 90 días y los pesos están disponibles para alojar el modelo por cuenta propia.
• La licencia Apache 2.0 permite el uso comercial, la modificación y la redistribución, e incluye una licencia de patentes que reduce la dependencia de un proveedor.
• Las empresas deben evaluar la seguridad, la latencia y la precisión con datos reales, y planificar la gobernanza y la infraestructura necesarias para las cargas de trabajo en tiempo real.