NVIDIA libera los modelos Cosmos 3 para la simulación de mundos en streaming

NVIDIA ha publicado cuatro modelos abiertos de la familia Cosmos 3. Generan lo que deben ver los sensores de un coche o de un robot: vídeo sincronizado de varias cámaras, datos de LiDAR y la imagen para la red neuronal de control. Parte de los modelos funciona en modo streaming: entregan fotogramas a medida que avanza la simulación y reaccionan a las acciones del agente.

Los cuatro checkpoints se han ajustado a partir de Cosmos 3 Nano y cada uno tiene 16 000 millones de parámetros entrenables. Se distribuyen bajo la licencia OpenMDW1.1, que en sus términos permite el uso comercial y no comercial. Junto con los pesos, NVIDIA ha publicado un informe técnico, demostraciones, la grabación de la emisión de Cosmos Labs y recetas de ajuste. El anuncio salió en el blog de NVIDIA en Hugging Face el 5 de noviembre de 2026.

Cuatro modelos para cuatro tareas

• Cosmos3-Nano-Transfer-Auto genera datos de conducción en modo offline. El modelo entrega vídeo sincronizado de un máximo de 11 cámaras, incluidos objetivos de ojo de pez, y es capaz de generar una imagen en color junto con datos de LiDAR. Los puntos de vista de todas las cámaras están sincronizados entre sí.
• Cosmos3-Nano-Sim-Auto es la versión en streaming de Transfer-Auto. Se destiló de modo que cada fragmento siguiente se apoye solo en los ya generados. Genera la cámara y el LiDAR en unos pocos pasos de eliminación de ruido, por lo que resulta adecuado para la simulación interactiva: el coche actúa, la escena responde.
• Cosmos3-Nano-Sim-Transfer toma del simulador señales espaciales de control (profundidad, segmentación, contornos, una disposición difusa de la escena) y, junto con una consulta de texto, las convierte en vídeo en color fotorrealista. Ese vídeo lo recibe después como entrada el modelo de control del robot o del automóvil.
• Cosmos3-Nano-Sim-Bimanual simula de forma interactiva los robots bimanuales YAM y AgiBot. Pueden controlarlos una política entrenada o un operador humano con joysticks. En el ejemplo con acciones mixtas entran 59 valores de control y durante el entrenamiento se completan hasta 64.

Para el artista técnico que monta escenas para simulación, lo más interesante es Sim-Transfer. La física, los contactos y el estado de la escena los sigue calculando el simulador, mientras que el aspecto del fotograma lo define la consulta de texto. Es probable que con este enfoque parte del acabado visual del entorno con materiales y luz pueda trasladarse al modelo.

Cómo están construidos los modelos y qué hace falta para ejecutarlos

La base de Cosmos 3 es la arquitectura Mixture-of-Transformers: del procesamiento del texto y de la generación de la imagen se encargan redes separadas, enlazadas por un mecanismo de atención. Tras la imagen inicial, cada paso en la representación interna del modelo corresponde a cuatro fotogramas RGB. El entrenamiento de las variantes en streaming se desarrolla en cuatro etapas: primero se adapta el modelo a la generación bidireccional, después se le enseña a continuar la secuencia, luego se destila y al final se ajusta con sus propias generaciones. En la etapa de destilación, el modelo alumno genera cada fragmento de vídeo en cuatro pasos de eliminación de ruido. Las recetas parten de los pesos de Cosmos3-Nano o de pesos base compatibles y cubren las cuatro etapas, de modo que los modelos pueden adaptarse al propio conjunto de cámaras o al propio robot.

Para ejecutarlos hacen falta Linux, una tarjeta gráfica NVIDIA, Docker y NVIDIA Container Toolkit. Las instrucciones de inferencia y los notebooks listos están en el repositorio cosmos-framework: para Transfer-Auto, Sim-Auto y Sim-Transfer, y para Sim-Bimanual se describe el formato de datos para el ajuste. NVIDIA no indica requisitos mínimos de memoria de vídeo. La configuración publicada para Sim-Bimanual se probó en un único acelerador de servidor GB200, y la compañía advierte expresamente que esa no es la especificación mínima. Cuánta memoria basta en una estación de trabajo no se dice en los materiales.

NVIDIA presenta el lanzamiento como un punto de partida común para investigadores y desarrolladores:

«Por delante queda el trabajo de medir dónde los modelos respaldan de forma fiable el entrenamiento y la evaluación de políticas, de comprender sus limitaciones y de mejorarlos allí donde no llegan».

Así se formulan en el anuncio los siguientes pasos del equipo de Cosmos. En el anuncio no hay cifras sobre la calidad y la velocidad de las variantes en streaming; los detalles sobre la arquitectura de la familia se exponen en el informe técnico de Cosmos 3.

Dónde encaja esto

Cosmos 3 salió en mayo de 2026 y en julio NVIDIA añadió la versión ligera Cosmos3-Edge, de 4000 millones de parámetros, para ejecutarse directamente en el dispositivo: Jetson AGX Orin, Thor y RTX Pro 6000. En el pipeline de NVIDIA para vehículos autónomos, los recorridos reales se reconstruyen primero en 3D mediante Omniverse NuRec, basado en bibliotecas gaussianas. Después los modelos Cosmos y Cosmos-Dreams generan variaciones de las escenas con otro clima, otra iluminación y situaciones poco frecuentes, y la comprobación se realiza en ciclo cerrado en el simulador abierto AlpaSim. Según datos de NVIDIA, Oxa, Plus y Uber utilizan los modelos Cosmos para sintetizar datos de conducción.

A juzgar por la composición del lanzamiento, NVIDIA desplaza los modelos generativos del papel de generador offline de conjuntos de datos hacia el papel del propio simulador: Sim-Auto y Sim-Bimanual responden de forma interactiva a las acciones, y Sim-Transfer puede asumir la imagen fotorrealista. Para quienes construyen escenas para entrenar robots y pilotos automáticos, esto reduce potencialmente las exigencias del acabado visual del entorno, pero añade una dependencia del hardware de NVIDIA y la pregunta de hasta qué punto el fotograma generado es físicamente preciso. La propia compañía califica esa evaluación como trabajo futuro. Para los artistas ajenos a la robótica y a la industria automovilística la utilidad práctica es probablemente escasa: los modelos están orientados a sensores, rigs multicámara y señales de control de robots.

Por qué NVIDIA abre Cosmos 3 al uso comercial: promoción de su propio hardware, la carrera por el estándar de simulación, la falta de datos reales?