Renderu.com
10.3 KEinträge in Kategorien einteilen
68.3 KFollower
35.0 MBesuche
Alex Rowan

Lightricks holt Lichter und Schatten in 8-Bit-Videos zurück

Interessantes aus dem Netz

Forscher von Lightricks haben eine Methode vorgestellt, mit der sich aus einem gewöhnlichen 8-Bit-SDR-Clip HDR-Video gewinnen lässt. Das generative Videomodell wird dafür nicht neu trainiert: seine Gewichte und der Encoder bleiben eingefroren. Die Frames werden in der logarithmischen Kodierung ACEScct zugeführt, die Coloristen aus Kinopipelines kennen, und trainiert wird nur ein einzelner kleiner Adapter. Er rekonstruiert jene Details in Lichtern und Schatten, die bei der Aufzeichnung in 8 Bit verloren gegangen sind.

Die Methode heißt LumiVid. Am Ausgang entsteht eine Sequenz aus scene-linearen EXR-Dateien in 16-Bit-Half-Float, also Material, das für Farbkorrektur und Compositing ausgelegt ist. Die Belichtung lässt sich anschließend in der Post ändern, ohne erneute Generierung.

Lightricks holt Lichter und Schatten in 8-Bit-Videos zurück
Illustration zur Studie «HDR Video Generation via Latent Alignment with Logarithmic Encoding». Bild: Lightricks
«Ein einzelner kleiner Adapter lernt, die Lichter und Schatten zu füllen, die 8-Bit-Video abschneidet».

So beschreibt Lightricks den Kern des Ansatzes im eigenen Technikblog.

Warum generatives Video schlecht ins Grading geht

Die Autoren benennen das Problem direkt: Video-Diffusionsmodelle arbeiten in 8-Bit-SDR. In HDR wird die kontinuierliche Helligkeit der Szene gespeichert, und ein Colorist kann die Belichtung an einem überstrahlten Fenster absenken oder eine dunkle Ecke herausziehen. Im 8-Bit-Frame ist an der Stelle des Fensters bereits ein weißer Fleck, und in den Schatten ein Absturz ins Schwarz. Dort gibt es nichts mehr herauszuholen. Deshalb fügt sich ein generierter Clip schlecht in geschnittenes HDR-Material ein und verträgt eine ernsthafte Korrektur nur schlecht.

Bestehende Verfahren zur Anpassung von Modellen an HDR teilen die Autoren in zwei Gruppen. Die einen verändern den latenten Raum des Encoders: für HDR wird eine neue Repräsentation trainiert, und das bedeutet zusätzliche Komplexität und hohe Anforderungen an die Daten. Die anderen stützen sich auf Hilfseingaben: Helligkeitsmasken, Textprompts, externe Referenzbilder. Laut den Forschern bringt das zusätzliche Handarbeit mit sich, ein präziser Prompt ist schwer zu finden, und das Ergebnis ist weniger stabil und weicht häufig vom Ausgangsmaterial ab. LumiVid kommt mit einem einzigen SDR-Clip am Eingang aus.

Wie der Logarithmus ein neues Modell ersetzt

Die zentrale Beobachtung der Arbeit lautet: Die logarithmische Kodierung komprimiert HDR in eine Verteilung, die gut mit jener übereinstimmt, auf der das Videomodell bereits trainiert wurde. Das Modell muss keinen neuen Datentyp erlernen. Ein leichtes Nachtrainieren des Adapters genügt, der Encoder bleibt unverändert. Nach Angaben der Autoren reichten für das Training rund 300 synthetische Clip-Paare mit je 49 Frames, erstellt auf Szenen von Poly Haven.

Der zweite Teil der Methode betrifft das Training. Damit das Modell die fehlenden Details selbst ergänzt, verschlechtern die Autoren die eingehenden SDR-Frames so, wie es eine Kamera tut: sie beschneiden den Kontrast, verwaschen Lichter und Schatten, fügen MP4-Kompressionsartefakte hinzu und verschieben die Belichtung. Pixel kopieren kann das Modell dann nicht und rekonstruiert den Dynamikumfang auf Basis dessen, was es über die Welt bereits weiß. Auf der Projektseite ist ein Vergleich dreier Varianten veröffentlicht: ohne eine solche Augmentierung, nur mit Weichzeichnung und das vollständige Modell.

Dort wird auch ein Kontrollexperiment gezeigt, das zum Verständnis der Methode nützlich ist. Schickt man das Material nur durch den Decoder, ohne das Videomodell selbst, lässt sich die Belichtung anheben, aber Details in den Lichtern werden nicht wiederhergestellt, und zwischen den Frames fehlt die Stabilität. Daraus folgt, dass die verlorene Information vom generativen Modell ergänzt wird.

Was man selbst überprüfen kann

Auf der Projektseite sind SDR→HDR-Ergebnisse für Video und für einzelne Frames versammelt. Ein interaktiver Viewer erlaubt es, die Belichtung bis −3 EV zu verschieben, um die Lichter zu prüfen, und bis +3 EV, um die Schatten zu betrachten. LumiVid wird dort mit drei Methoden verglichen:

  • Tedla et al. nach dem offiziellen Rezept: 17 Frames in einer Auflösung von 704×1280, danach hält diese Methode den letzten Frame, während LumiVid weiterläuft;
  • HDRTVNet++: verarbeitet die Frames einzeln, danach werden sie zu einem Video zusammengefügt;
  • DiffHDR: nach dem offiziellen Rezept, am Ausgang lineare EXR in Rec.709.

Für die Darstellung wird das LumiVid-Ergebnis von ACEScct EXR nach Rec.709 mit einer Anhebung um 2 EV und anschließend nach BT.2020 HLG konvertiert. Das Ausgangs-SDR bleibt in Rec.709. Neben dem visuellen Vergleich führen die Autoren auch eine Messung an: bei kinematografischem Material von ARRI-Kameras liegt LumiVid um 5,5 dB nach der Metrik PU21-PSNR vor den besten bestehenden Methoden. Die vollständige Beschreibung der Methode findet sich im Artikel auf arXiv. Seine Autoren sind das Team von Lightricks, Mohamed Oumoumad von Gear Productions sowie Or Patashnik und Daniel Cohen-Or von der Universität Tel Aviv.

Wem das nützt und was noch fehlt

Der Beschreibung nach richtet sich die Methode in erster Linie an Coloristen und Compositor, die generierte Einstellungen in echtes Material einfügen. Derzeit verhält sich eine solche Einstellung im Schnitt oft wie ein Fremdkörper: Überstrahlungen clippen, Schatten lassen sich nicht ziehen. Scene-lineare EXR am Ausgang dürften es erlauben, sie mit denselben Werkzeugen zu graden wie gedrehtes Material. Da am Eingang ein gewöhnlicher SDR-Clip steht, ist der Ansatz theoretisch auch auf bereits vorhandenes SDR-Material anwendbar, doch dieses Szenario behandeln die Autoren nicht gesondert.

In den Produkten von Lightricks ist der Boden dafür schon vorbereitet. In der LTX-Dokumentation gibt es einen Abschnitt zur Arbeit mit EXR und HDR: der Modus Native HDR nimmt scene-lineares oder ACEScct OpenEXR an, Einzelframes und Sequenzen, und gibt HDR mit Farbmanagement zurück, damit das Material weiter in Compositing und Finishing geht. Für SDR-Quellen ist dort ein separates Szenario SDR to HDR mit eigenen Modellen erwähnt. Ob damit gerade LumiVid verbunden ist, wird in den veröffentlichten Materialien nicht präzisiert.

Es gibt auch Einschränkungen. In den veröffentlichten Materialien werden weder Anforderungen an die Grafikkarte und die Bearbeitungszeit genannt noch Angaben dazu, ob der Code von LumiVid selbst veröffentlicht wird. Details in ausgebrannten Lichtern ergänzt das Modell aus erlernten Repräsentationen: im Ausgangsframe sind diese Daten nicht vorhanden. Es entsteht ein plausibles, aber erfundenes Detail, und für VFX-Arbeit, bei der die tatsächliche Glaubwürdigkeit des Frames zählt, sollte man das berücksichtigen.

Werden Coloristen und VFX-Supervisor ein vom Modell erfundenes Detail in den Lichtern akzeptieren, oder bleibt es für das Finishing zu riskant?

0
Mehr zum Thema:
OpenEXR schließt 15 Sicherheitslücken beim Lesen von EXR-Dateien
Viggle legt die Gewichte des Video-Agenten Remake für den Figurentausch offen
Runway tauscht Schauspieler im gedrehten Video ohne Nachdreh
Runway baut KI-Apps nach Beschreibung – ohne Code
Kommentare:0
Datum des Eintrags