NVIDIA veröffentlicht Cosmos 3 Modelle als Open Source für Streaming-Weltsimulation

NVIDIA hat vier offene Modelle der Familie Cosmos 3 veröffentlicht. Sie erzeugen das, was die Sensoren eines Fahrzeugs oder Roboters sehen sollen: synchrones Video von mehreren Kameras, LiDAR-Daten und das Bild für das steuernde neuronale Netz. Ein Teil der Modelle arbeitet im Streaming-Modus: Sie liefern Frames im Verlauf der Simulation und reagieren auf die Aktionen des Agenten.

Alle vier Checkpoints wurden aus Cosmos 3 Nano weitertrainiert, jeder hat 16 Milliarden trainierbare Parameter. Verbreitet werden sie unter der Lizenz OpenMDW1.1, die unter ihren Bedingungen kommerzielle und nicht kommerzielle Nutzung erlaubt. Zusammen mit den Gewichten hat NVIDIA einen technischen Bericht, Demos, die Aufzeichnung des Streams von Cosmos Labs und Rezepte für das Nachtrainieren veröffentlicht. Die Ankündigung erschien am 5. November 2026 im Blog von NVIDIA auf Hugging Face.

Vier Modelle für vier Aufgaben

• Cosmos3-Nano-Transfer-Auto erzeugt Fahrdaten im Offline-Modus. Das Modell liefert synchronisiertes Video von maximal 11 Kameras, darunter Fisheye-Objektive, und kann ein Farbbild zusammen mit LiDAR-Daten generieren. Die Blickwinkel aller Kameras sind untereinander synchronisiert.
• Cosmos3-Nano-Sim-Auto ist die Streaming-Variante von Transfer-Auto. Sie wurde so destilliert, dass jedes nächste Fragment nur auf den bereits generierten aufbaut. Kamera und LiDAR erzeugt sie in wenigen Denoising-Schritten und eignet sich deshalb für interaktive Simulation: Das Fahrzeug handelt, die Szene antwortet.
• Cosmos3-Nano-Sim-Transfer übernimmt aus dem Simulator räumliche Steuersignale (Tiefe, Segmentierung, Konturen, unscharfes Szenenlayout) und verwandelt sie gemeinsam mit einem Text-Prompt in fotorealistisches Farbvideo. Dieses Video erhält anschließend das Steuerungsmodell des Roboters oder Fahrzeugs als Eingabe.
• Cosmos3-Nano-Sim-Bimanual simuliert interaktiv die zweiarmigen Roboter YAM und AgiBot. Steuern kann sie eine trainierte Policy oder ein menschlicher Bediener mit Joysticks. Im Beispiel mit gemischten Aktionen gehen 59 Steuerwerte als Eingabe ein, beim Training werden sie auf 64 aufgefüllt.

Für Technical Artists, die Szenen für die Simulation aufbauen, ist Sim-Transfer am interessantesten. Physik, Kontakte und Szenenzustand berechnet weiterhin der Simulator, das Aussehen des Frames gibt der Text-Prompt vor. Wahrscheinlich lässt sich bei diesem Ansatz ein Teil der visuellen Ausarbeitung der Umgebung mit Materialien und Licht an das Modell abgeben.

Wie die Modelle aufgebaut sind und was man zum Start braucht

Cosmos 3 basiert auf der Architektur Mixture-of-Transformers: Textverarbeitung und Bildgenerierung übernehmen getrennte Netze, die über einen Attention-Mechanismus verbunden sind. Nach dem Startbild entspricht jeder Schritt in der internen Repräsentation des Modells vier RGB-Frames. Das Training der Streaming-Varianten läuft in vier Stufen: Zuerst wird das Modell an bidirektionale Generierung angepasst, dann lernt es, die Sequenz fortzusetzen, danach wird es destilliert und am Ende auf seinen eigenen Generierungen nachtrainiert. In der Destillationsphase erzeugt das Schülermodell jedes Videofragment in vier Denoising-Schritten. Die Rezepte beginnen mit den Gewichten von Cosmos3-Nano oder kompatiblen Basisgewichten und decken alle vier Stufen ab, sodass die Modelle an das eigene Kamera-Set oder den eigenen Roboter angepasst werden können.

Zum Start braucht man Linux, eine NVIDIA-Grafikkarte, Docker und das NVIDIA Container Toolkit. Anleitungen zur Inferenz und fertige Notebooks liegen im Repository cosmos-framework: für Transfer-Auto, Sim-Auto und Sim-Transfer, und für Sim-Bimanual ist das Datenformat für das Nachtrainieren beschrieben. Mindestanforderungen an den Videospeicher nennt NVIDIA nicht. Die veröffentlichte Konfiguration für Sim-Bimanual wurde auf einem Server-Beschleuniger GB200 geprüft, und das Unternehmen weist ausdrücklich darauf hin, dass dies keine Mindestspezifikation ist. Wie viel Speicher auf einer Workstation ausreicht, steht in den Materialien nicht.

NVIDIA selbst präsentiert den Release als allgemeinen Ausgangspunkt für Forschende und Entwickler:

«Vor uns liegt die Arbeit zu messen, wo die Modelle das Training und die Bewertung von Policies verlässlich unterstützen, ihre Grenzen zu verstehen und sie dort zu verbessern, wo sie nicht ausreichen».

So sind in der Ankündigung die nächsten Schritte des Cosmos-Teams formuliert. Zahlen zu Qualität und Geschwindigkeit der Streaming-Varianten enthält die Ankündigung nicht; Details zur Architektur der Familie sind im technischen Bericht zu Cosmos 3 dargelegt.

Wo sich das einfügt

Cosmos 3 erschien im Mai 2026, im Juli ergänzte NVIDIA die abgespeckte Version Cosmos3-Edge mit 4 Milliarden Parametern für den Betrieb direkt auf dem Gerät: Jetson AGX Orin, Thor und RTX Pro 6000. In der NVIDIA-Pipeline für autonome Fahrzeuge werden reale Fahrten zunächst über Omniverse NuRec auf Basis von Gaussian-Bibliotheken in 3D rekonstruiert. Dann generieren die Modelle Cosmos und Cosmos-Dreams Szenenvariationen mit anderem Wetter, anderer Beleuchtung und seltenen Situationen, und die Prüfung läuft im geschlossenen Regelkreis im offenen Simulator AlpaSim. Nach Angaben von NVIDIA setzen Oxa, Plus und Uber die Cosmos-Modelle zur Synthese von Fahrdaten ein.

Der Zusammenstellung des Releases nach verschiebt NVIDIA generative Modelle aus der Rolle des Offline-Generators von Datensätzen näher an die Rolle des Simulators selbst: Sim-Auto und Sim-Bimanual antworten interaktiv auf Aktionen, und Sim-Transfer kann das fotorealistische Bild übernehmen. Für alle, die Szenen zum Trainieren von Robotern und Autopiloten bauen, senkt das potenziell die Anforderungen an die visuelle Ausarbeitung der Umgebung, fügt aber eine Abhängigkeit von NVIDIA-Hardware hinzu und die Frage, wie physikalisch genau der generierte Frame ist. Deren Bewertung nennt das Unternehmen selbst als weitere Arbeit. Für Artists außerhalb von Robotik und Automobilbranche ist der praktische Nutzen wahrscheinlich gering: Die Modelle sind auf Sensoren, Multikamera-Rigs und Steuersignale von Robotern zugeschnitten.

Warum öffnet NVIDIA Cosmos 3 für die kommerzielle Nutzung: Werbung für die eigene Hardware, das Rennen um den Simulationsstandard, Mangel an realen Daten?