Alibaba presenta Qwen3-Omni: un modelo multimodal de IA de código abierto

Llega un modelo multimodal nativo de código abierto

Alibaba Cloud presentó Qwen3-Omni, un modelo de IA multimodal que integra de forma nativa texto, imágenes, audio y video en un solo sistema. El lanzamiento lleva la competencia por los asistentes en tiempo real a un nuevo terreno al combinar amplias capacidades con una licencia de código abierto apta para empresas. El modelo admite entradas en las cuatro modalidades y responde con texto o voz natural. Se puede descargar, modificar y utilizar comercialmente de forma gratuita bajo la licencia Apache 2.0, que incluye una concesión de patentes. Con este paso, Alibaba se posiciona como una alternativa sólida a las ofertas propietarias de OpenAI y Google, y ofrece a los desarrolladores pleno control sobre cómo y dónde se ejecuta el modelo.

Qwen3-Omni se incorpora a la amplia serie de modelos Qwen, cuyo alcance se ha ido expandiendo de forma constante. El equipo afirma que la nueva versión se entrenó con grandes corpus de texto y vastos conjuntos de datos de audio e imágenes, y luego se perfeccionó para responder con agilidad en conversaciones en directo. Se ofrece en tres variantes principales, adaptadas a necesidades habituales. El modelo Instruct procesa entradas mixtas y puede responder con voz. El modelo Thinking se centra en razonamientos más complejos y contextos largos. El modelo Captioner está especializado en describir audio y reducir las alucinaciones. Está disponible en el repositorio oficial de GitHub, en plataformas de modelos como Hugging Face y mediante una API alojada que ofrece la opción Flash, más rápida. El lanzamiento, realizado a altas horas de la noche, también incluyó un nuevo sistema Qwen3 TTS y un modelo de edición de imágenes, como parte de un impulso por ofrecer una solución integral para la interacción multimodal.

Por qué importa este lanzamiento

Los asistentes multimodales están pasando de las demostraciones a las cargas de trabajo de producción. Las empresas quieren un solo modelo que pueda escuchar, observar, leer y razonar en tiempo real, y luego responder con un ritmo natural. Qwen3-Omni apunta precisamente a ese uso. La combinación de acceso abierto y resultados que, según la empresa, son de última generación en un amplio conjunto de pruebas de voz, audio, imágenes y video hace que el anuncio sea relevante para quienes necesitan flexibilidad, control de costos y despliegue en sus propias instalaciones.

Qué distingue a Qwen3-Omni de GPT-4o y Gemini

Los competidores popularizaron la idea de modelos omnidireccionales capaces de ver, oír y hablar. OpenAI integró texto, imágenes y audio en GPT-4o. Google amplió el análisis al video en algunos niveles de producto de Gemini 2.5. Qwen3-Omni se diseñó desde cero como una solución integral de extremo a extremo para los cuatro tipos de entrada. El modelo admite la comprensión de video, como la detección de escenas y el seguimiento de eventos; acepta imágenes fijas y documentos para el reconocimiento óptico de caracteres (OCR) y la fundamentación de respuestas; escucha la voz y lee texto. Las respuestas se entregan como texto o voz, lo que simplifica la salida en interacciones en directo y evita la complejidad de generar imágenes o video.

Una diferencia clave es su disponibilidad. Qwen3-Omni se publica bajo la licencia Apache 2.0, que permite a las empresas descargar los pesos, ejecutar el modelo en su propia infraestructura y ajustar su comportamiento para sectores específicos sin negociar licencias. Los sistemas propietarios restringen el alojamiento propio o cobran por cada interacción según los tokens utilizados. Gemma, otra familia de modelos abiertos de Google, se limita al texto y, por tanto, no abarca el mismo alcance multimodal. Para los equipos que quieren estandarizar el uso de un modelo abierto en tareas de voz, visión y texto, Qwen3-Omni cubre una necesidad desatendida.

Velocidad para conversaciones en directo

Alibaba publica cifras teóricas de latencia hasta el primer paquete de unos 234 milisegundos para audio y unos 547 milisegundos para video. Ese intervalo se ajusta a las expectativas humanas para alternar turnos y hace viable el uso en tiempo real en distintas regiones, si se combina con una transmisión eficiente. Las cifras publicadas se midieron en sistemas internos, por lo que los resultados en producción variarán según el hardware, la concurrencia y las condiciones de la red. Aun así, una latencia inferior a un factor de tiempo real bajo carga sugiere que el diseño está optimizado para un despliegue práctico.

La arquitectura interna

El modelo sigue un diseño de dos partes que el equipo denomina Thinker y Talker. Thinker se encarga de la comprensión multimodal y el razonamiento. Lee texto, analiza píxeles y escucha características de audio; luego planifica y compone el contenido. Talker se centra en la voz y convierte representaciones de alto nivel en voz natural para respuestas en transmisión continua. Separar estas funciones permite que el sistema de voz avance a su propio ritmo mientras el modelo de lenguaje se anticipa.

Ambos componentes usan una arquitectura de mezcla de expertos (Mixture of Experts), una técnica en la que se entrenan numerosas subredes especializadas y solo se activan unas pocas para cada token. Esto aumenta el rendimiento con una alta concurrencia sin activar todos los parámetros en cada paso. La cadena de procesamiento de voz emplea un esquema autorregresivo de múltiples libros de códigos que comprime el audio en códigos discretos. Una red convolucional ligera, Code2Wav, convierte esos códigos en formas de onda. Este enfoque reduce la demora y conserva el timbre y la prosodia, para que la voz suene menos robótica con una latencia baja.

Talker está desacoplado de las representaciones de texto de Thinker y se condiciona directamente a partir de características de audio y visuales. Esa decisión ayuda a que la voz se ajuste a lo que ocurre en pantalla en las interacciones audiovisuales. En la parte de percepción, un codificador Transformer de audio se entrenó con unos 20 millones de horas de audio supervisado. El preentrenamiento se realiza por etapas. El equipo alinea los codificadores, entrena el modelo con alrededor de dos billones de tokens de texto, audio, imágenes y video, y luego amplía el contexto para sesiones largas. El posentrenamiento incluye ajuste fino supervisado, destilación y etapas de optimización tanto para Thinker como para Talker.

Versiones, idiomas y límites de contexto

Qwen3-Omni se ofrece como Qwen3-Omni-30B-A3B en tres variantes públicas. El modelo Instruct admite entradas de audio, video y texto, y genera texto y voz. El modelo Thinking está dirigido a razonamientos complejos, operaciones matemáticas y planificación, con respuestas en texto. Captioner está ajustado para describir audio en detalle. La opción Flash alojada busca agilizar las interacciones mediante Alibaba Cloud.

El alcance multilingüe es una prioridad. El modelo base admite 119 idiomas en texto, 19 idiomas de entrada de voz y 10 de salida de voz, incluidos dialectos de uso extendido como el cantonés. Este equilibrio puede simplificar los despliegues globales en los que las experiencias de voz deben adaptarse a acentos y sistemas de escritura locales.

Las sesiones pueden ser largas. El modo Thinking ofrece ventanas de contexto de hasta 65.536 tokens. El modo sin razonamiento alcanza los 49.152. La entrada y la salida máximas se fijan en 16.384 tokens. En razonamientos complejos, la cadena más larga puede llegar a 32.768 tokens. La API cobra según los tokens utilizados por cada 1.000 tokens, con tarifas distintas para las entradas de texto, audio e imágenes o video, y para las salidas de texto o audio. Las cuentas nuevas reciben una cuota gratuita de un millón de tokens en todas las modalidades durante los 90 días posteriores a la activación.

Pruebas de referencia y cómo interpretarlas

Alibaba informa de resultados en 36 pruebas de referencia que abarcan texto y razonamiento, voz y audio, imágenes y visión, y tareas audiovisuales con video. Según la empresa, Qwen3-Omni obtiene resultados de última generación en 22 pruebas y lidera los modelos de código abierto en 32. El equipo también afirma que supera a GPT-4o y Gemini 2.5 Pro en numerosas evaluaciones de audio y tareas audiovisuales. Las categorías incluyen reconocimiento del habla, comprensión de audio, preguntas y respuestas audiovisuales, descripción de video y generación de voz. En tareas centradas en el texto, según se informa, el modelo iguala los resultados de algunos integrantes de la familia de modelos de texto Qwen.

Las pruebas de referencia sirven de guía, pero no garantizan resultados. Las baterías de pruebas varían en alcance, formato de instrucciones y criterios de puntuación. Los proveedores eligen las métricas que publican, y distintas ejecuciones pueden favorecer determinadas arquitecturas o datos de entrenamiento. Los despliegues reales incluyen audio con ruido, distintos micrófonos, cortes rápidos de escena y acentos diversos. Los equipos deberían evaluar el modelo con sus propias muestras, someterlo a pruebas de estrés para detectar alucinaciones y medir los costos en relación con el rendimiento. Dicho esto, la amplitud de tareas cubierta por los resultados publicados indica que el modelo se entrenó con la multimodalidad como objetivo central, en lugar de añadirla al final mediante adaptadores.

En la documentación oficial, el equipo de Qwen describe Qwen3-Omni como un modelo multilingüe nativo que procesa texto, imágenes, audio y video, y genera respuestas en transmisión continua como texto y palabras habladas. El diseño busca que el habla suene natural mientras el modelo de lenguaje planifica los siguientes pasos.

Qué pueden crear hoy los desarrolladores

El repositorio y las demostraciones incluyen guías prácticas para tareas habituales que ya funcionan bien sin una personalización exhaustiva. Los equipos pueden empezar con ejemplos sencillos y avanzar hacia funciones de producción a medida que ganen confianza.

Usos habituales

Estos son algunos escenarios que se ajustan bien a las fortalezas del modelo en percepción, razonamiento y voz:

• Reconocimiento multilingüe del habla en llamadas, reuniones y contenidos multimedia en directo.
• Traducción oral entre pares de idiomas de uso extendido, con respuestas habladas.
• Descripción de audio para sonidos ambientales y clasificación de música.
• Reconocimiento óptico de caracteres (OCR) en documentos y capturas de pantalla, con respuestas fundamentadas que señalan las regiones pertinentes.
• Respuestas a preguntas sobre imágenes de diagramas complejos o paneles de control.
• Descripción de video, selección de momentos destacados y detección de eventos para explorar clips largos.
• Respuestas a preguntas sobre contenido audiovisual para formación, asistencia y guías prácticas.
• Asistencia técnica en tiempo real que escucha, observa y explica cómo resolver problemas.
• Flujos de trabajo similares a los de un agente, que utilizan herramientas y API externas para completar tareas.

El comportamiento puede ajustarse mediante instrucciones de sistema para definir la personalidad, el tono y el formato. El modelo admite la transmisión en tiempo real, por lo que puede ofrecer respuestas parciales mientras continúa el razonamiento. Este estilo resulta más natural en los asistentes de voz, donde son preferibles las pausas breves y las aclaraciones rápidas a los silencios prolongados. En despliegues sensibles, conviene implementar un sistema de seguridad que incluya instrucciones reforzadas, filtros de contenido para texto y audio, y un motor de políticas que registre el contexto y las decisiones.

Licencias y criterios para empresas

La decisión de publicar el modelo bajo Apache 2.0 es importante. La licencia permite el uso comercial, la distribución, la modificación y la concesión de sublicencias. También incluye una licencia de patentes que reduce la exposición legal al integrar el modelo en productos. Las empresas pueden ejecutar Qwen3-Omni en clústeres privados o nubes de confianza, ajustarlo con sus datos y distribuir software sin pagar tarifas de uso a un proveedor. Esta combinación evita la dependencia de un proveedor y reduce las barreras para la experimentación entre equipos.

Alibaba destaca el creciente ecosistema en torno a la familia Qwen. La empresa afirma que el grupo ha publicado cientos de modelos desde la llegada de los primeros puntos de control de Qwen y que las descargas ascienden a cientos de millones. Los desarrolladores han publicado decenas de miles de derivados en plataformas públicas, lo que acorta el tiempo entre la creación de un prototipo y su puesta en producción. En sectores regulados, una solución multimodal alojada en instalaciones propias puede ayudar a cumplir los requisitos de residencia de datos y auditoría, y a mantener previsibles los costos de inferencia.

Costos y operaciones

Ejecutar un modelo multimodal requiere planificación. La memoria de la GPU, el ancho de banda de almacenamiento para audio y video, y las redes rápidas para la transmisión influyen en la capacidad de respuesta. Las API con cobro por tokens simplifican las primeras etapas mientras los equipos de infraestructura dimensionan los clústeres. La cuota gratuita de un millón de tokens durante 90 días basta para validar la viabilidad, ajustar las instrucciones y evaluar la calidad con datos internos. Cuando aumenta la carga de trabajo, las organizaciones suelen combinar modelos. Un modelo abierto puede atender la mayoría de las tareas diarias y una API propietaria, los casos límite o las funciones especializadas. Este enfoque reduce los gastos y mantiene la flexibilidad.

Riesgos y despliegue responsable

La potente comprensión de audio y video permite crear productos atractivos, pero también plantea riesgos de uso indebido. La síntesis de voz puede imitar un estilo aunque, de forma predeterminada, el modelo no genere una voz objetivo específica. Los agentes en tiempo real que observan y escuchan a los usuarios necesitan procesos claros de consentimiento, almacenamiento seguro y políticas de eliminación de datos. Los equipos legales deberían revisar cómo circulan los datos entre la captura en el dispositivo, los servidores y los registros, y fijar plazos de conservación acordes con la normativa.

Las empresas deberían someter el modelo a pruebas de estrés para detectar alucinaciones, sesgos y contenido inseguro. La descripción de audio puede interpretar mal los sonidos en entornos ruidosos. La descripción de video puede pasar por alto el contexto entre cortes. Los contextos largos pueden provocar desviaciones respecto de las instrucciones. Un plan de evaluación bien diseñado incluye instrucciones adversariales, cobertura de acentos y dialectos, y pruebas de seguridad para poner a prueba los límites del modelo. Los mecanismos de retroalimentación que permiten a los usuarios finales señalar problemas ayudan a mejorar los modelos y a mantener la rendición de cuentas en los despliegues.

Cómo empezar

Los desarrolladores pueden descargar los pesos y ejemplos del repositorio oficial de Qwen3-Omni en GitHub. Una guía de inicio rápido muestra cómo ejecutar el modelo con bibliotecas populares como Transformers y vLLM. También hay imágenes de Docker y demostraciones con interfaz web para realizar pruebas rápidas. El acceso alojado mediante la API de Alibaba es adecuado para los equipos que quieran crear prototipos con voz en transmisión continua antes de comprometerse con una infraestructura propia. Las plataformas de modelos ofrecen puntos de control listos para usar y guías de la comunidad para el ajuste fino y la evaluación.

Enlace: Qwen3-Omni en GitHub

Puntos clave

• Alibaba publicó Qwen3-Omni como modelo de código abierto bajo la licencia Apache 2.0, que incluye una concesión de patentes y permite su uso comercial y redistribución gratuitos.
• El modelo acepta texto, imágenes, audio y video, y responde con texto o voz natural mediante transmisión en tiempo real.
• Hay tres variantes: Instruct para interacciones multimodales, Thinking para razonamientos complejos y Captioner para describir audio.
• La latencia publicada es de unos 234 ms para audio y unos 547 ms para video, y está diseñada para facilitar una alternancia natural de turnos.
• Admite 119 idiomas de texto, 19 idiomas de entrada de voz y 10 de salida de voz, incluido el cantonés.
• En 36 pruebas, Alibaba informa de resultados de última generación en 22 y de liderazgo entre los modelos abiertos en 32, con sólidos resultados en audio y video.
• Las ventanas de contexto alcanzan los 65.536 tokens en el modo Thinking, con un máximo de 16.384 tokens para la entrada o la salida.
• La API ofrece una cuota gratuita de un millón de tokens durante 90 días y cobra por cada 1.000 tokens en todas las modalidades.
• Entre los usos posibles figuran la transcripción, la traducción, el OCR, la clasificación de música, la comprensión de video y los asistentes en tiempo real.
• Las empresas pueden alojar Qwen3-Omni en sus propias instalaciones, ajustarlo e integrarlo, aplicando medidas de seguridad, privacidad y cumplimiento normativo.