Baidu presenta una IA multimodal de código abierto que, según afirma, supera a GPT-5 y Gemini en pruebas de visión

Un nuevo competidor de código abierto en IA multimodal

Baidu ha publicado como código abierto un nuevo modelo multimodal, ERNIE 4.5 VL 28B A3B Thinking, un sistema de 28.000 millones de parámetros que procesa imágenes, videos, documentos y texto. La empresa afirma que supera a los principales modelos cerrados en pruebas centradas en la visión y que utiliza menos recursos. Está publicado bajo la licencia Apache 2.0, que permite su uso comercial sin restricciones. Si la afirmación se confirma en pruebas independientes, posicionaría a Baidu como un proveedor clave de modelos de razonamiento visual para empresas que funcionan en hardware accesible.

ERNIE 4.5 VL 28B A3B Thinking activa unos 3.000 millones de parámetros por token, una pequeña parte del total, gracias a una arquitectura de mezcla de expertos (Mixture of Experts) que dirige cada entrada a las redes expertas más pertinentes. Esta activación selectiva reduce el uso de capacidad de cómputo y memoria, al tiempo que conserva la capacidad de un modelo mucho mayor. Baidu afirma que el modelo puede ejecutar inferencias en una sola GPU de 80 GB y ofrecer buenos resultados en comprensión de documentos, interpretación de gráficos y razonamiento visual complejo.

La función más destacada es lo que Baidu llama Thinking with Images (razonar con imágenes). El modelo puede acercarse y alejarse de una imagen mientras razona, examinar zonas pequeñas en busca de pistas y combinar hallazgos locales con la escena general. Este comportamiento se asemeja a la forma en que las personas resuelven problemas visuales y mejora tareas como leer diagramas técnicos densos, detectar defectos en una línea de producción o localizar referencias como el conector azul situado debajo del segundo perno.

Baidu también destaca una mejor localización visual, un seguimiento más preciso de las instrucciones para tareas con imágenes, el uso de herramientas como la búsqueda de imágenes y una sólida comprensión de videos con conciencia temporal. El modelo incluye kits de integración compatibles con Transformers, vLLM y FastDeploy, así como un conjunto de herramientas de entrenamiento y ajuste fino llamado ERNIEKit. En un campo muy competido, donde la mayoría de los principales sistemas de visión y lenguaje siguen siendo cerrados, este lanzamiento ofrece a desarrolladores y empresas una nueva opción abierta con una licencia favorable para los negocios.

Qué puede hacer el modelo, según Baidu

Baidu agrupa las capacidades del modelo en seis áreas: razonamiento visual, resolución de problemas STEM, localización visual, integración de herramientas, comprensión de videos y análisis dinámico de imágenes. En la práctica, esto significa que el sistema puede leer y resumir facturas o estados financieros, analizar gráficos y tablas, razonar sobre diagramas de circuitos y problemas de geometría, señalar objetos o zonas precisas de una imagen cuando se le solicita, usar herramientas externas para buscar imágenes de referencia y seguir eventos a lo largo de segmentos de video.

En las tablas de clasificación que aparecen en la documentación de Baidu, el modelo iguala o supera a las versiones GPT-5 High de OpenAI y Gemini 2.5 Pro de Google en una serie de pruebas centradas en la visión. Entre ellas hay pruebas de respuesta a preguntas sobre gráficos, comprensión de documentos y razonamiento visual de varios pasos. La empresa también destaca su velocidad y afirma que las inferencias son entre dos y tres veces más rápidas que las de modelos comparables con una precisión similar.

Estos resultados aún no han sido verificados por laboratorios independientes. Las pruebas de referencia suelen premiar la memorización de patrones, el formato de las instrucciones o ciertos trucos específicos, en vez de la fiabilidad en despliegues reales y complejos. Las empresas que evalúen ERNIE 4.5 VL 28B A3B Thinking deberían realizar pruebas piloto específicas con sus propios documentos, condiciones de iluminación, ángulos de cámara y políticas de seguridad antes de comprometerse a usarlo en producción.

Aun con esa cautela, el abanico de tareas que cubre es amplio. La combinación de razonamiento, localización y uso de herramientas lo convierte en una posible opción para flujos de trabajo de tipo agente, como leer reclamaciones entrantes en sistemas de gestión de seguros, señalar anomalías en las operaciones de almacén o ayudar a los técnicos a resolver problemas de equipos mediante fotos anotadas y videos cortos.

Cómo funciona un modelo de 28.000 millones de parámetros en una GPU de 80 GB

La clave es la mezcla de expertos (Mixture of Experts), una arquitectura en la que numerosas subredes especializadas están conectadas a través de un enrutador. Para cada token o fragmento de imagen, el enrutador selecciona un pequeño grupo de expertos que se activan. Solo esos expertos realizan los cálculos, de modo que el sistema funciona como un modelo pequeño en cada paso, mientras que el conjunto completo de expertos ofrece una mayor capacidad al considerar muchos pasos y tareas. Esta estructura mejora el rendimiento porque la mayoría de los parámetros permanecen inactivos durante cada operación.

La activación selectiva reduce las necesidades de memoria y el costo de cómputo. Un modelo denso de 28.000 millones de parámetros necesitaría mucho más hardware para funcionar a velocidades útiles. Al activar unos 3.000 millones de parámetros por token, Baidu puede afirmar que el modelo de visión y lenguaje permite realizar inferencias con una sola GPU, lo que facilita las pruebas a numerosos laboratorios. La contrapartida es una mayor complejidad. Los ingenieros necesitan un enrutador rápido y equilibrado, una distribución cuidadosa de la carga y técnicas de entrenamiento estables para evitar que unos pocos expertos realicen todo el trabajo.

Razonamiento con imágenes y localización precisa

Los modelos tradicionales de visión y lenguaje reciben una imagen con resolución fija y generan una respuesta en texto. Thinking with Images añade un ciclo de planificación. El modelo divide una pregunta en pasos, propone dónde mirar a continuación, recorta una zona en alta resolución, lee el texto o mide la geometría dentro de ella y luego actualiza su plan. El ciclo se repite hasta reunir pruebas suficientes para responder. La capacidad también funciona en sentido inverso cuando la tarea consiste en señalar algo: el modelo relaciona las palabras con ubicaciones en píxeles y dibuja un recuadro o una máscara.

Una mejor localización es importante cuando las imágenes están abarrotadas o son técnicas. En la fabricación, dos piezas pueden parecer casi idénticas hasta que se amplía la imagen. En los planos de ingeniería, unos pocos píxeles de diferencia en una notación pueden cambiar el significado de un símbolo. En las imágenes médicas, pequeños artefactos pueden alterar un diagnóstico. Un sistema capaz de alternar entre el contexto general de la escena y los detalles, y de explicar los pasos que siguió, ofrece a los operadores un registro más claro para la auditoría y una forma de corregir errores.

Pruebas de referencia frente a tareas reales

Las tablas de los proveedores suelen reunir puntuaciones de numerosas evaluaciones. Algunas pruebas utilizan imágenes nítidas con recortes perfectos. Otras plantean preguntas que ya aparecen en los datos de entrenamiento. En las aplicaciones reales hay reflejos, desenfoque por movimiento, tipografías poco habituales, obstrucciones y etiquetas en varios idiomas. El rendimiento puede variar cuando las entradas están fuera de la distribución de entrenamiento. Por eso, la afirmación principal de que supera a GPT-5 o Gemini en pruebas seleccionadas debería considerarse un punto de partida, no una conclusión.

Un método más fiable consiste en evaluar tareas específicas. Para documentos, los equipos pueden reunir unos cientos de archivos representativos y medir la precisión de extracción de cada campo con respuestas revisadas por personas. Para tareas de visión, pueden simular condiciones de producción y luego medir la precisión y la exhaustividad de los recuadros o las máscaras. Para gráficos, pueden generar gráficos sintéticos con casos límite, como escalas logarítmicas o series apiladas. Así se obtiene una perspectiva más clara del comportamiento del modelo y de sus fallos.

Entrenamiento y herramientas para desarrolladores

Los modelos ERNIE 4.5 combinan el aprendizaje supervisado tradicional con el aprendizaje por refuerzo en tareas multimodales. La documentación menciona estrategias llamadas GSPO e IcePop para estabilizar el enrutador y mejorar la asignación de recompensas durante el entrenamiento de un modelo de mezcla de expertos, junto con un muestreo dinámico de dificultad que presenta ejemplos más difíciles a medida que el modelo mejora. El resultado es un sistema capaz de planificar razonamientos de varios pasos sobre imágenes, gráficos y videos, en vez de hacer conjeturas en una sola pasada.

La familia de modelos incluye variantes solo de texto y de visión y lenguaje, desde modelos densos muy pequeños hasta sistemas de mezcla de expertos de gran tamaño con cientos de miles de millones de parámetros totales. Baidu afirma que la arquitectura permite compartir parámetros entre modalidades, de modo que los componentes de texto y visión pueden beneficiarse mutuamente sin perjudicar la calidad del lenguaje. El entrenamiento y la inferencia funcionan en PaddlePaddle, la plataforma de la empresa, que según el equipo logra un alto aprovechamiento del hardware a gran escala.

Baidu ofrece un conjunto de herramientas para desarrolladores. ERNIEKit permite realizar ajuste fino, optimización de preferencias y cuantización para un despliegue eficiente en el uso de recursos. El modelo de visión y lenguaje puede ejecutarse con herramientas habituales como Transformers y vLLM, y FastDeploy permite gestionar las inferencias en producción. La licencia Apache 2.0 elimina muchas restricciones sobre el uso comercial. La página oficial del modelo está disponible en Hugging Face, y el código y las recetas de entrenamiento se encuentran en el repositorio de Baidu en GitHub.

Qué implica para las empresas

La licencia abierta y la posibilidad de realizar inferencias con una sola GPU hacen que el modelo resulte atractivo para los equipos que buscan una IA visual privada, instalada en sus propias instalaciones, sin enviar datos a un proveedor de servicios en la nube. Los sectores que trabajan con muchos documentos pueden probar sistemas inteligentes para procesar contratos, facturas y reclamaciones. Los fabricantes pueden crear puestos de inspección de calidad que combinen visión e instrucciones en lenguaje natural para los trabajadores de las líneas de producción. Los equipos de comercio minorista y logística pueden usar la localización visual para encontrar productos y verificar etiquetas en almacenes. Los grupos de atención al cliente pueden enriquecer las respuestas de chat con la lectura de gráficos o capturas de pantalla insertados.

El costo es importante. Muchas organizaciones no pueden reservar grupos de GPU de clase H100 para una sola aplicación. Un sistema que funciona con una tarjeta de 80 GB reduce las barreras para las pruebas piloto y los primeros despliegues. La combinación de localización, uso de herramientas y comprensión de videos también se presta a flujos de trabajo de tipo agente, en los que el modelo lee, busca, hace clic y razona a lo largo de varios pasos para completar una tarea. Esto coincide con el avance de los agentes que interactúan con computadoras y utilizan interfaces estándar en lugar de API personalizadas.

La competencia más amplia: modelos abiertos frente a servicios cerrados

El lanzamiento llega en un año de gran actividad para los modelos abiertos. DeepSeek presentó un modelo de lenguaje de mezcla de expertos de gran tamaño, con cientos de miles de millones de parámetros totales y solo unas decenas de miles de millones activos por token. La empresa comunicó resultados sólidos en pruebas generales con una fracción del costo de entrenamiento de los sistemas cerrados. Alibaba Marco o1 impulsó el razonamiento con técnicas como el ajuste fino de cadenas de pensamiento y la planificación guiada por búsquedas para abordar tareas abiertas sin recompensas numéricas claras.

Los laboratorios chinos, incluidos Baidu, Alibaba y otros, publican cada vez más modelos capaces con licencias permisivas. El acceso abierto permite a los desarrolladores de la región crear productos con menos dependencia de servicios propietarios. También presiona a los proveedores globales para que justifiquen sus precios prémium con ventajas claras en fiabilidad, herramientas o integraciones. La diferencia de rendimiento entre los modelos abiertos y cerrados se ha reducido en muchas áreas, sobre todo en tareas especializadas como el análisis de gráficos y la extracción de datos de documentos.

Límites y preguntas pendientes

Hay contrapartidas. Para obtener los mejores resultados, el modelo de visión y lenguaje sigue necesitando una GPU de 80 GB, lo que deja fuera a muchos dispositivos de consumo. La ventana de contexto es de 128.000 tokens, una capacidad útil para documentos PDF extensos, pero limitada cuando se combinan muchas imágenes, texto extraído mediante reconocimiento óptico de caracteres (OCR) e instrucciones. El enrutamiento de la mezcla de expertos puede complicar el despliegue a gran escala, ya que los ingenieros deben vigilar el equilibrio entre expertos y prevenir picos de latencia causados por puntos de congestión en el enrutamiento.

La seguridad sigue siendo un tema central. Los sistemas de imágenes pueden ser engañados mediante patrones adversarios o correlaciones espurias. Un modelo que recorta y amplía imágenes activamente debe evitar el sesgo de confirmación, que lo lleva a seguir examinando la zona equivocada. Las empresas esperarán registros de auditoría claros de cada paso de la cadena de pensamiento cuando el modelo esté en modo de razonamiento o, al menos, registros estructurados de las llamadas a herramientas y los recuadros delimitadores. Baidu afirma que el modelo se sometió a aprendizaje por refuerzo multimodal y a un proceso de alineación para la localización visual, pero será necesario realizar evaluaciones amplias de terceros para generar confianza.

Puntos clave

• Baidu publicó ERNIE 4.5 VL 28B A3B Thinking, un modelo multimodal de código abierto con licencia Apache 2.0 para uso comercial.
• El modelo afirma superar a GPT-5 High y Gemini 2.5 Pro en pruebas centradas en la visión, a la espera de una verificación independiente.
• Utiliza una arquitectura de mezcla de expertos que activa unos 3.000 millones de sus 28.000 millones de parámetros por token para reducir el uso de capacidad de cómputo y memoria.
• Las inferencias pueden ejecutarse en una sola GPU de 80 GB, lo que facilita las pruebas piloto y las evaluaciones en las instalaciones de las empresas.
• Entre sus funciones destacadas están Thinking with Images, que permite ampliar y examinar imágenes, una mejor localización visual y la comprensión de videos.
• Sus seis capacidades principales abarcan el razonamiento visual, las tareas STEM, la localización visual, el uso de herramientas, el análisis de videos y la planificación dinámica de imágenes.
• El entrenamiento incluye aprendizaje por refuerzo multimodal con GSPO e IcePop y muestreo dinámico de dificultad para estabilizar la mezcla de expertos.
• Las herramientas para desarrolladores incluyen ERNIEKit y compatibilidad con Transformers, vLLM y FastDeploy, además de una página pública del modelo y un repositorio de código.
• Entre los posibles usos están el procesamiento de documentos, el control de calidad en la fabricación, las operaciones de almacén y la atención al cliente.
• Entre sus límites figuran el requisito de una GPU de 80 GB, una ventana de contexto de 128.000 tokens, la complejidad del enrutamiento de la mezcla de expertos y las dudas pendientes sobre su solidez y seguridad.