Alibaba presenta Qwen3-Omni, un modelo de IA multimodal de código abierto

Por qué importa ahora: la IA multimodal abierta llega al gran público

Alibaba ha lanzado Qwen3-Omni, un modelo de inteligencia artificial multimodal de libre acceso que puede recibir texto, imágenes, audio y video, y responder en texto o con voz natural en tiempo real. La empresa lo presenta como el primer sistema nativo integral que integra los cuatro tipos de entrada en un único modelo, en lugar de añadirlos posteriormente. El lanzamiento llega a un mercado en el que los principales sistemas de OpenAI y Google siguen siendo propietarios, lo que marca un claro contraste entre las plataformas cerradas y una alternativa de código abierto que cualquiera puede descargar, modificar e implementar bajo la licencia Apache 2.0.

La propuesta es sencilla. Las empresas y los desarrolladores obtienen un modelo que funciona con distintas modalidades, ofrece baja latencia, amplia cobertura lingüística y herramientas para orientar sus respuestas. Sus implicaciones van más allá de los indicadores técnicos. Una licencia abierta y favorable para las empresas elimina la dependencia de un proveedor y permite a las organizaciones ejecutar el modelo en su propia infraestructura. Esto supone una diferencia importante en un momento en que muchas compañías intentan equilibrar el costo, el control y el rendimiento de sus sistemas de IA.

Qwen3-Omni llega tras una oleada de modelos omni. GPT-4o, de OpenAI, combinó texto, imágenes y audio. Gemini 2.5 Pro, de Google, añadió el análisis de video. Esos sistemas siguen siendo de pago y cerrados. Qwen3-Omni incorpora comprensión de video, entrada de voz y salida de voz en un mismo paquete que la comunidad puede examinar y ampliar. El lanzamiento también refleja el auge de los proyectos chinos de IA de código abierto, que están ganando una gran adopción en plataformas para desarrolladores y reconfigurando el panorama competitivo.

Qué es Qwen3-Omni y cómo funciona

Qwen3-Omni utiliza un diseño de dos partes llamado Thinker y Talker, cada una optimizada para una fase distinta del proceso. Thinker se encarga de la comprensión multimodal, el razonamiento y la generación de texto. Talker convierte las respuestas aprobadas en voz y coordina el habla con los elementos visuales. Ambos componentes se basan en una arquitectura de Mezcla de Expertos, que divide el modelo en grupos especializados de parámetros que solo se activan cuando resulta útil. Esto agiliza y facilita la ampliación de la inferencia, porque el modelo no necesita ejecutar todos los parámetros para cada solicitud.

Thinker y Talker, en detalle

En Qwen3-Omni, Thinker recibe las entradas, combina señales de texto, imágenes, audio y video, y genera la respuesta principal en forma de texto. En este componente pueden ejecutarse el razonamiento con contexto extenso, el uso de herramientas, la recuperación de información y los filtros de seguridad. Un aspecto fundamental es que Talker no está obligado a basarse en los tokens de texto de Thinker. En cambio, se apoya directamente en características de audio y visuales. Esto permite que el sistema produzca voz que conserve el ritmo y el énfasis de la persona que habla durante una traducción, o que coordine el ritmo del habla con lo que aparece en pantalla. También permite controlar el flujo de trabajo, ya que módulos externos pueden revisar o ajustar las respuestas de Thinker antes de que Talker las convierta en audio.

Para generar voz, Qwen3-Omni utiliza un método autorregresivo de múltiples libros de códigos que predice tokens acústicos compactos y luego los convierte en formas de onda mediante una red Code2Wav ligera. Este diseño reduce la latencia y conserva los matices de la voz. El codificador de audio, llamado Audio Transformer, se entrenó desde cero para admitir tanto el uso en streaming como el procesamiento sin conexión.

Diseñado para el streaming de baja latencia

Qwen3-Omni está pensado para conversaciones en directo. El sistema informa de una latencia de extremo a extremo de unos 234 milisegundos hasta el primer paquete de audio y de unos 547 milisegundos para video. Se mantiene por debajo de un factor de tiempo real, lo que significa que puede generar resultados a la misma velocidad o más rápido de lo que recibe las entradas. Esto es importante para agentes de voz, asistentes para centros de llamadas, transcripción de reuniones y cualquier situación en la que los retrasos interrumpan la conversación.

Cobertura lingüística y límites de contexto

El modelo admite 119 idiomas en texto, 19 en la entrada de voz y 10 en la salida de voz. Puede gestionar interacciones extensas. El modo Thinking ofrece una ventana de contexto de 65.536 tokens, y la cadena de razonamiento más larga alcanza los 32.768 tokens. El modo Non Thinking utiliza un contexto de 49.152 tokens. El máximo de entrada y de salida es de 16.384 tokens en ambos casos. Estos límites determinan cuánto contenido puede procesar y generar el modelo en una sesión, algo especialmente relevante para las transcripciones de video y los documentos extensos.

Versiones y opciones de implementación

Alibaba lanzará tres versiones de Qwen3-Omni-30B-A3B, cada una adaptada a una tarea distinta.

El modelo Instruct combina Thinker y Talker. Acepta texto, imágenes, audio y video, y responde en texto y voz. El modelo Thinking se centra en el razonamiento y en tareas que requieren cadenas de pensamiento extensas. Acepta las mismas entradas, pero solo genera texto. Por ello, resulta adecuado cuando las respuestas escritas detalladas son más importantes que la voz. El modelo Captioner está ajustado para describir audio y genera descripciones de texto detalladas, con especial atención a reducir las alucinaciones. En conjunto, las tres versiones cubren la interacción multimodal amplia, el razonamiento profundo y la comprensión especializada del audio.

Qwen3-Omni está disponible para uso local y en la nube. Los desarrolladores pueden descargar los pesos desde el repositorio oficial y plataformas comunitarias, o acceder a través de la API de Alibaba a una variante Flash más rápida. La documentación del proyecto incluye una guía de inicio rápido, recetarios para tareas como reconocimiento de voz, traducción, análisis musical, OCR y diálogo audiovisual, además de instrucciones para la implementación con Docker. El repositorio de GitHub está aquí: https://github.com/QwenLM/Qwen3-Omni.

Para los equipos que prueben la API alojada, Alibaba ofrece una cuota gratuita de un millón de tokens en todas las modalidades, válida durante 90 días desde su activación. La salida de audio solo está disponible en el modo Non Thinking cuando se utiliza la API. Estos detalles son importantes para planificar proyectos piloto y calcular los costos de los primeros experimentos.

Resumen del proceso de entrenamiento

Qwen3-Omni se entrenó mediante un proceso de varias etapas que combina el preentrenamiento a gran escala con un posentrenamiento específico. Audio Transformer funciona como codificador de audio y cuenta con unos 600 millones de parámetros. Se entrenó con 20 millones de horas de audio supervisado. La mezcla de datos incluía aproximadamente un 80 % de reconocimiento de voz en chino e inglés, un 10 % de reconocimiento de voz en otros idiomas y un 10 % de tareas de comprensión de audio. El codificador está diseñado tanto para el almacenamiento en caché en tiempo real como para el procesamiento sin conexión.

El preentrenamiento constó de tres etapas. En la primera, llamada alineación del codificador, se entrenaron los codificadores de visión y audio mientras el núcleo del modelo de lenguaje permanecía congelado. Esto impidió que la percepción del modelo se deteriorara durante la fusión inicial. La segunda etapa, denominada entrenamiento general, utilizó un conjunto de datos de unos 2 billones de tokens que abarcaba texto, audio, imágenes y cantidades menores de muestras de video y audio y video. En la tercera etapa, la longitud máxima se amplió de 8.192 a 32.768 tokens y se incorporó más contenido de audio y video de larga duración para mejorar el procesamiento de secuencias extensas.

El posentrenamiento abordó tanto el razonamiento como la calidad de la voz. Thinker recibió ajuste fino supervisado, destilación de modelos de mayor a menor capacidad y optimización GSPO, con una combinación de comentarios basados en reglas y evaluaciones de modelos que actúan como jueces. Talker siguió un proceso de cuatro etapas con cientos de millones de muestras de habla multimodal y preentrenamiento continuo con datos seleccionados. Los objetivos eran reducir las alucinaciones y lograr una voz más natural.

Rendimiento y principales fortalezas

Según los resultados de pruebas públicas que informa la empresa, Qwen3-Omni ofrece un sólido rendimiento en comprensión del habla, audio y video, y mantiene puntuaciones altas en texto y visión. Lidera varias clasificaciones públicas de modelos abiertos y obtiene resultados competitivos frente a sistemas cerrados.

En texto y razonamiento, el modelo obtiene 65,0 en AIME25 y 76,0 en ZebraLogic. En WritingBench alcanza 82,6. En habla y audio, registra tasas de error de palabras de 4,69 y 5,89 en Wenetspeech, y de 2,48 en Librispeech other. También destaca en tareas musicales, con 93,0 en GTZAN y 52,0 en RUL MuchoMusic. En imagen y visión, obtiene 59,7 en HallusionBench, 57,0 en MMMU pro y 56,3 en MathVision full. En video, registra 75,2 en MLVU. Si evaluaciones externas confirman estas cifras, indicarían que el modelo equilibra las tareas de texto habituales con una comprensión avanzada del audio y el video.

Conviene tener en cuenta dos matices. En primer lugar, muchos resultados son informados por la propia empresa. Una verificación independiente con conjuntos de pruebas más amplios permitirá evaluar mejor el rendimiento cotidiano. En segundo lugar, crear un modelo que cubra cuatro tipos de entrada puede implicar concesiones. El material de la empresa busca demostrar un rendimiento equivalente en las distintas modalidades, pero algunos evaluadores de la comunidad han observado que las primeras versiones de Qwen, centradas en texto, ofrecen resultados ligeramente mejores en ciertas tareas específicas de texto. Es la conocida tensión entre los modelos especializados y los generalistas. La versión actual reduce esa diferencia y, al mismo tiempo, habilita interacciones entre modalidades que los modelos especializados no pueden igualar.

Precios, cuotas y límites de uso

Qwen3-Omni es de código abierto para su implementación local bajo la licencia Apache 2.0. El acceso administrado a través de la API de Alibaba se cobra según el uso de tokens. El modo Thinking y el modo Non Thinking tienen las mismas tarifas por token. La salida de audio solo está disponible en el modo Non Thinking.

Costo de entrada por cada 1.000 tokens

• Entrada de texto: 0,00025 dólares estadounidenses
• Entrada de audio: 0,00221 dólares estadounidenses
• Entrada de imagen o video: 0,00046 dólares estadounidenses

Costo de salida por cada 1.000 tokens

• Salida de texto cuando la entrada es solo de texto: 0,00096 dólares estadounidenses
• Salida de texto cuando la entrada incluye imagen o audio: 0,00178 dólares estadounidenses
• Salida de texto y audio: 0,00876 dólares estadounidenses por la parte de audio; el texto es gratuito

Plan gratuito: un millón de tokens en todas las modalidades, válido durante 90 días desde su activación. Los límites de contexto son amplios: 65.536 tokens en el modo Thinking y 49.152 en el modo Non Thinking. La entrada máxima en una sola solicitud es de 16.384 tokens, y la salida máxima también es de 16.384 tokens. La cadena de razonamiento más larga alcanza los 32.768 tokens. Estos límites orientan la división de archivos multimedia y documentos extensos cuando el modelo se utiliza en producción.

Por qué importa para las empresas

La licencia es un aspecto central. Apache 2.0 concede derechos para el uso comercial, la modificación y la redistribución. Incluye una licencia de patentes, lo que reduce el riesgo legal cuando el modelo se integra en sistemas propietarios. No existe la obligación de publicar el trabajo derivado, lo que facilita su adopción por parte de empresas que necesitan mantener en privado las variantes ajustadas. Esto contrasta con una caja negra controlada por un proveedor, donde los costos, los límites de uso y el comportamiento del modelo pueden cambiar sin que haya posibilidad de recurrir.

El lanzamiento también influye en las decisiones de arquitectura. Muchas organizaciones están optando por una pila de varios modelos. Combinan modelos abiertos y cerrados según la tarea, mezclan modelos pequeños y rápidos para el trabajo rutinario con otros más grandes para el razonamiento complejo, y mantienen algunas cargas de trabajo en sus propias instalaciones para controlar los datos. La amplitud de Qwen3-Omni lo convierte en una opción para situaciones con un uso intensivo de voz, entornos multilingües y flujos de trabajo con mucho contenido de video. Gestionar varias modalidades en un mismo modelo puede reducir la cantidad de sistemas independientes que es necesario entrenar y mantener.

Una implementación exitosa sigue requiriendo disciplina. Las revisiones de seguridad, los controles de privacidad, los sistemas de evaluación y los procesos de ajuste fino siguen siendo requisitos básicos. La naturaleza abierta del modelo facilita su auditoría y optimización, pero también hace que la responsabilidad por la seguridad y el cumplimiento normativo recaiga en quien lo adopta. Los equipos que inviertan en operaciones de aprendizaje automático (MLOps), uso de herramientas y mecanismos de protección obtendrán el mayor valor.

Casos de uso: de los centros de atención al servicio técnico sobre el terreno

Alibaba destaca una amplia variedad de situaciones en las que el modelo puede aprovechar sus fortalezas. La transcripción y traducción multilingües pueden combinarse con una respuesta de voz de baja latencia para conversaciones en directo. La descripción de audio sirve para la producción de medios y la accesibilidad de contenidos. El OCR y la comprensión de documentos pueden aplicarse a imágenes de formularios, recibos y diagramas. El etiquetado musical y el análisis de sonidos son útiles para bibliotecas multimedia y herramientas creativas. La comprensión de video permite indexar y recorrer contenidos, así como seguir instrucciones en tutoriales o guías de equipos.

Un ejemplo ilustrativo es el soporte técnico. Un cliente puede transmitir video desde un teléfono mientras el modelo lee el texto en pantalla, escucha el audio ambiental y ofrece instrucciones paso a paso con respuestas de voz. Otro caso es un asistente portátil que traduce menús o señales en tiempo real. Los desarrolladores también pueden orientar el comportamiento mediante instrucciones del sistema para definir el tono, la personalidad y los límites del ámbito de uso, así como conectar sistemas de recuperación de información, calculadoras o herramientas de terceros para ampliar las capacidades.

Señales de adopción y contexto global

La acogida inicial apunta a un gran interés por parte de la comunidad de desarrolladores. Variantes de Qwen3-Omni llegaron a los primeros puestos de las listas de modelos más populares en plataformas de IA conocidas, mientras que otros modelos Qwen ocuparon varios puestos adicionales. Este auge pone de relieve un cambio más amplio hacia sistemas abiertos desarrollados por equipos chinos, que compiten directamente con empresas occidentales ya consolidadas. En los mercados, las acciones de Alibaba en Hong Kong subieron algo más de un 4 % en una jornada en que el lanzamiento tuvo gran repercusión.

La alternativa abierta presionará los precios y las estrategias de producto de los sistemas cerrados, en especial en los casos de uso intensivo de audio y video. Las empresas que necesitan probar ideas sin un largo proceso de contratación ya pueden ejecutar un modelo omni a bajo costo. Si el rendimiento en condiciones reales se ajusta a los resultados de las pruebas publicados, este lanzamiento podría acelerar la adopción de asistentes multimodales en centros de atención, producción de medios, educación, transcripción en el ámbito de la salud y mantenimiento industrial.

En resumen

• Qwen3-Omni es un modelo de código abierto que acepta texto, imágenes, audio y video, y responde en texto y voz; está optimizado para el uso en tiempo real.
• El sistema utiliza una arquitectura Thinker y Talker con Mezcla de Expertos para ofrecer velocidad y capacidad de ampliación, además de un Audio Transformer propio y un sistema de conversión Code2Wav.
• La latencia prevista es de unos 234 milisegundos para audio y unos 547 milisegundos para video, con streaming por debajo de un factor de tiempo real.
• Admite 119 idiomas en texto, 19 en la entrada de voz y 10 en la salida de voz, con ventanas de contexto de hasta 65.536 tokens.
• Hay tres versiones disponibles: Instruct, para entrada y salida multimodales completas; Thinking, para razonamiento con salida solo de texto; y Captioner, para generar descripciones detalladas de audio.
• Es de código abierto bajo la licencia Apache 2.0 y ofrece una cuota gratuita de un millón de tokens para probar la API, además de precios por token para el acceso alojado.
• Las pruebas informadas por la empresa muestran buenos resultados en habla, audio, video y texto, con varias puntuaciones de vanguardia.
• Las empresas disponen de una opción sin costo de licencia para implementar, personalizar y ejecutar IA multimodal sin depender de un proveedor, siempre que inviertan en evaluación y seguridad.
• La adopción de la comunidad es rápida: los modelos Qwen ganan popularidad en plataformas para desarrolladores y aumenta el interés por los sistemas chinos de IA de código abierto.