NVIDIA abre os modelos Cosmos 3 para simulação de mundos em streaming

A NVIDIA publicou quatro modelos abertos da família Cosmos 3. Geram aquilo que os sensores de um automóvel ou de um robô devem ver: vídeo sincronizado de várias câmaras, dados de LiDAR e a imagem para a rede neuronal de controlo. Parte dos modelos funciona em modo streaming: produzem fotogramas ao longo da simulação e reagem às ações do agente.

Todos os quatro checkpoints foram afinados a partir do Cosmos 3 Nano e cada um tem 16 mil milhões de parâmetros treináveis. São distribuídos sob a licença OpenMDW1.1, que nos seus termos permite o uso comercial e não comercial. Juntamente com os pesos, a NVIDIA publicou um relatório técnico, demonstrações, a gravação da emissão do Cosmos Labs e receitas de afinação. O anúncio saiu no blogue da NVIDIA no Hugging Face a 5 de novembro de 2026.

Quatro modelos para quatro tarefas

• O Cosmos3-Nano-Transfer-Auto gera dados de condução em modo offline. O modelo produz vídeo sincronizado de no máximo 11 câmaras, incluindo objetivas olho de peixe, e consegue gerar imagem em cor juntamente com dados de LiDAR. Os pontos de vista de todas as câmaras estão sincronizados entre si.
• O Cosmos3-Nano-Sim-Auto é a versão em streaming do Transfer-Auto. Foi destilado de modo que cada fragmento seguinte se apoie apenas nos já gerados. Gera a câmara e o LiDAR em poucos passos de redução de ruído, pelo que serve para simulação interativa: o automóvel age, a cena responde.
• O Cosmos3-Nano-Sim-Transfer recebe do simulador sinais espaciais de controlo (profundidade, segmentação, contornos, uma disposição desfocada da cena) e, em conjunto com um pedido em texto, transforma-os em vídeo em cor fotorrealista. Esse vídeo é depois dado como entrada ao modelo de controlo do robô ou do automóvel.
• O Cosmos3-Nano-Sim-Bimanual simula de forma interativa os robôs de dois braços YAM e AgiBot. Podem ser controlados por uma política treinada ou por um operador humano com joysticks. No exemplo com ações mistas entram 59 valores de controlo, que no treino são completados até 64.

Para o artista técnico que monta cenas para simulação, o mais interessante é o Sim-Transfer. A física, os contactos e o estado da cena continuam a ser calculados pelo simulador, enquanto o aspeto do fotograma é definido pelo pedido em texto. É provável que, com esta abordagem, parte do acabamento visual do ambiente com materiais e luz possa passar para o modelo.

Como estão feitos os modelos e o que é preciso para os executar

Na base do Cosmos 3 está a arquitetura Mixture-of-Transformers: o processamento do texto e a geração da imagem são tratados por redes separadas, ligadas por um mecanismo de atenção. Depois da imagem inicial, cada passo na representação interna do modelo corresponde a quatro fotogramas RGB. O treino das variantes em streaming decorre em quatro etapas: primeiro o modelo é adaptado à geração bidirecional, depois aprende a continuar a sequência, em seguida é destilado e, no fim, é afinado com as suas próprias gerações. Na etapa de destilação, o modelo-aluno gera cada fragmento de vídeo em quatro passos de redução de ruído. As receitas começam nos pesos do Cosmos3-Nano ou em pesos de base compatíveis e cobrem as quatro etapas, pelo que os modelos podem ser adaptados ao próprio conjunto de câmaras ou ao próprio robô.

Para a execução são necessários Linux, uma placa gráfica NVIDIA, Docker e o NVIDIA Container Toolkit. As instruções de inferência e notebooks prontos estão no repositório cosmos-framework: para Transfer-Auto, Sim-Auto e Sim-Transfer, e para o Sim-Bimanual está descrito o formato dos dados para afinação. A NVIDIA não indica requisitos mínimos de memória de vídeo. A configuração publicada para o Sim-Bimanual foi testada num único acelerador de servidor GB200, e a empresa ressalva expressamente que não se trata da especificação mínima. Quanta memória basta numa estação de trabalho não é dito nos materiais.

A própria NVIDIA apresenta o lançamento como um ponto de partida comum para investigadores e desenvolvedores:

«Está por fazer o trabalho de medir onde os modelos sustentam de forma fiável o treino e a avaliação de políticas, de compreender as suas limitações e de os melhorar onde ficam aquém».

É assim que o anúncio formula os próximos passos da equipa Cosmos. Não há no anúncio números sobre a qualidade e a velocidade das variantes em streaming; os detalhes sobre a arquitetura da família estão expostos no relatório técnico do Cosmos 3.

Onde isto se encaixa

O Cosmos 3 saiu em maio de 2026 e, em julho, a NVIDIA acrescentou a versão aliviada Cosmos3-Edge, de 4 mil milhões de parâmetros, para correr diretamente no dispositivo: Jetson AGX Orin, Thor e RTX Pro 6000. No pipeline da NVIDIA para veículos autónomos, os percursos reais são primeiro reconstruídos em 3D através do Omniverse NuRec, com base em bibliotecas gaussianas. Depois os modelos Cosmos e Cosmos-Dreams geram variações das cenas com outro tempo, outra iluminação e situações raras, e a verificação decorre em ciclo fechado no simulador aberto AlpaSim. Segundo dados da NVIDIA, a Oxa, a Plus e a Uber usam os modelos Cosmos para sintetizar dados de condução.

A julgar pela composição do lançamento, a NVIDIA está a deslocar os modelos generativos do papel de gerador offline de conjuntos de dados para mais perto do papel do próprio simulador: o Sim-Auto e o Sim-Bimanual respondem de forma interativa às ações e o Sim-Transfer pode assumir a imagem fotorrealista. Para quem constrói cenas para treinar robôs e pilotos automáticos, isto reduz potencialmente as exigências de acabamento visual do ambiente, mas acrescenta uma dependência do hardware da NVIDIA e a questão de quão fisicamente exato é o fotograma gerado. A avaliação disso é apontada pela própria empresa como trabalho futuro. Para artistas fora da robótica e da indústria automóvel a utilidade prática será provavelmente pouca: os modelos estão orientados para sensores, rigs multicâmara e sinais de controlo de robôs.

Porque é que a NVIDIA abre o Cosmos 3 ao uso comercial: promoção do seu próprio hardware, a corrida pelo padrão de simulação, a falta de dados reais?