NVIDIA, 스트리밍 월드 시뮬레이션용 Cosmos 3 모델 공개

NVIDIA가 Cosmos 3 계열의 개방형 모델 네 가지를 공개했다. 이들은 자동차나 로봇의 센서가 보아야 할 것을 생성한다. 여러 대의 카메라에서 동기화된 영상, LiDAR 데이터, 그리고 제어 신경망에 입력되는 이미지다. 일부 모델은 스트리밍 방식으로 동작한다. 시뮬레이션이 진행되는 동안 프레임을 내보내고 에이전트의 행동에 반응한다.

네 개의 체크포인트는 모두 Cosmos 3 Nano에서 추가 학습된 것으로, 각각 160억 개의 학습 가능한 파라미터를 가진다. 배포 라이선스는 OpenMDW1.1로, 해당 조건에 따라 상업적 이용과 비상업적 이용을 모두 허용한다. NVIDIA는 가중치와 함께 기술 보고서, 데모, Cosmos Labs 방송 녹화본, 추가 학습 레시피를 공개했다. 발표는 2026년 11월 5일 Hugging Face의 NVIDIA 블로그에 게시됐다.

네 가지 과제를 위한 네 가지 모델

Cosmos3-Nano-Transfer-Auto는 오프라인 방식으로 주행 데이터를 생성한다. 이 모델은 어안 렌즈를 포함해 최대 11대의 카메라에서 동기화된 영상을 내보내며, 컬러 이미지와 LiDAR 데이터를 함께 생성할 수 있다. 모든 카메라의 시점은 서로 동기화된다.
Cosmos3-Nano-Sim-Auto는 Transfer-Auto의 스트리밍 버전이다. 다음 구간이 이미 생성된 구간에만 의존하도록 증류됐다. 카메라와 LiDAR를 몇 단계의 노이즈 제거만으로 생성하므로 인터랙티브 시뮬레이션에 적합하다. 차량이 행동하면 장면이 반응한다.
Cosmos3-Nano-Sim-Transfer는 시뮬레이터에서 공간적 제어 신호(깊이, 세그멘테이션, 윤곽, 흐릿한 장면 레이아웃)를 받아 텍스트 프롬프트와 함께 사실적인 컬러 영상으로 바꾼다. 이 영상은 이후 로봇이나 자동차의 제어 모델에 입력된다.
Cosmos3-Nano-Sim-Bimanual은 양팔 로봇 YAM과 AgiBot을 인터랙티브하게 시뮬레이션한다. 학습된 정책이나 조이스틱을 쓰는 실제 조작자가 로봇을 제어할 수 있다. 혼합 동작 예시에서는 59개의 제어 값이 입력되며, 학습 시에는 64개까지 채워진다.

시뮬레이션용 장면을 구성하는 테크니컬 아티스트에게 가장 흥미로운 것은 Sim-Transfer다. 물리, 접촉, 장면 상태는 여전히 시뮬레이터가 계산하고, 프레임의 외형은 텍스트 프롬프트가 결정한다. 이런 접근에서는 재질과 조명으로 환경을 다듬는 시각적 마무리 작업의 일부를 모델에 넘길 수 있을 것으로 보인다.

모델의 구조와 실행에 필요한 것

Cosmos 3의 기반은 Mixture-of-Transformers 아키텍처다. 텍스트 처리와 이미지 생성은 어텐션 메커니즘으로 연결된 별도의 네트워크가 담당한다. 시작 이미지 이후, 모델 내부 표현의 각 단계는 RGB 프레임 네 장에 해당한다. 스트리밍 변형의 학습은 네 단계로 진행된다. 먼저 모델을 양방향 생성에 적응시키고, 다음으로 시퀀스를 이어가도록 학습시키며, 그다음 증류하고, 마지막으로 자신이 생성한 결과로 추가 학습한다. 증류 단계에서 학생 모델은 각 영상 구간을 네 번의 노이즈 제거 단계로 생성한다. 레시피는 Cosmos3-Nano 가중치나 호환되는 기본 가중치에서 시작해 네 단계를 모두 다루므로, 모델을 자신의 카메라 구성이나 자신의 로봇에 맞게 조정할 수 있다.

실행에는 Linux, NVIDIA 그래픽카드, Docker, NVIDIA Container Toolkit이 필요하다. 추론 안내와 바로 쓸 수 있는 노트북은 cosmos-framework 저장소에 있다. Transfer-Auto, Sim-Auto, Sim-Transfer용 자료가 제공되며, Sim-Bimanual에 대해서는 추가 학습용 데이터 형식이 설명돼 있다. NVIDIA는 비디오 메모리의 최소 요구 사항을 밝히지 않았다. 공개된 Sim-Bimanual 구성은 서버용 가속기 GB200 한 대에서 검증됐으며, 회사는 이것이 최소 사양은 아니라고 분명히 언급한다. 워크스테이션에서 메모리가 얼마나 필요한지는 자료에 나와 있지 않다.

NVIDIA는 이번 공개를 연구자와 개발자를 위한 공통 출발점으로 제시한다.

«앞으로는 모델이 정책 학습과 평가를 어디에서 신뢰성 있게 뒷받침하는지 측정하고, 그 한계를 이해하고, 부족한 부분을 개선하는 작업이 남아 있다».

발표문에는 Cosmos 팀의 다음 단계가 이렇게 적혀 있다. 스트리밍 변형의 품질과 속도에 관한 수치는 발표문에 없으며, 계열의 아키텍처에 대한 세부 내용은 Cosmos 3 기술 보고서에 정리돼 있다.

어디에 자리하는가

Cosmos 3는 2026년 5월에 나왔고, 7월에 NVIDIA는 Jetson AGX Orin, Thor, RTX Pro 6000 등 기기에서 바로 실행할 수 있는 40억 파라미터의 경량 버전 Cosmos3-Edge를 추가했다. NVIDIA의 자율주행 파이프라인에서는 실제 주행을 먼저 가우시안 라이브러리를 기반으로 한 Omniverse NuRec을 통해 3D로 재구성한다. 이어서 Cosmos와 Cosmos-Dreams 모델이 다른 날씨, 다른 조명, 드문 상황을 갖춘 장면 변형을 생성하고, 검증은 개방형 시뮬레이터 AlpaSim에서 폐쇄 루프로 진행된다. NVIDIA에 따르면 Oxa, Plus, Uber가 주행 데이터 합성에 Cosmos 모델을 사용하고 있다.

이번 공개 구성으로 볼 때 NVIDIA는 생성 모델을 데이터셋의 오프라인 생성기라는 역할에서 시뮬레이터 자체의 역할에 더 가깝게 옮기고 있다. Sim-Auto와 Sim-Bimanual은 행동에 인터랙티브하게 응답하고, Sim-Transfer는 사실적인 화면을 맡을 수 있다. 로봇과 자율주행 학습용 장면을 만드는 사람에게는 환경의 시각적 마무리 요구가 줄어들 가능성이 있지만, NVIDIA 하드웨어에 대한 의존과 생성된 프레임이 물리적으로 얼마나 정확한지의 문제가 더해진다. 회사 스스로도 그 평가를 향후 과제로 꼽는다. 로보틱스와 자동차 산업 밖의 아티스트에게는 실용적 이점이 크지 않을 것이다. 모델은 센서, 멀티카메라 리그, 로봇 제어 신호에 맞춰져 있다.

NVIDIA가 Cosmos 3를 상업적 이용까지 개방하는 이유는 자사 하드웨어 홍보일까, 시뮬레이션 표준 경쟁일까, 실제 데이터의 부족일까?