Renderu.com
10.3 KPostagens
68.3 KSeguidores
35.0 MVisitas
Alex Rowan

Lightricks devolve luzes e sombras ao vídeo de 8 bits

Interessante da Web

Investigadores da Lightricks mostraram uma forma de obter vídeo HDR a partir de um clipe SDR comum de 8 bits. O modelo generativo de vídeo não é retreinado para isso: os seus pesos e o codificador ficam congelados. Os fotogramas entram na codificação logarítmica ACEScct, conhecida pelos coloristas dos pipelines de cinema, e treina-se apenas um pequeno adaptador. Ele reconstrói os detalhes nas luzes e nas sombras que se perderam ao gravar em 8 bits.

O método chama-se LumiVid. À saída obtém-se uma sequência de EXR scene-linear em half-float de 16 bits, isto é, material concebido para correção de cor e composição. A exposição pode depois ser alterada já na pós-produção, sem nova geração.

Lightricks devolve luzes e sombras ao vídeo de 8 bits
Ilustração do estudo «HDR Video Generation via Latent Alignment with Logarithmic Encoding». Imagem: Lightricks
«Um pequeno adaptador aprende a preencher as luzes e as sombras que o vídeo de 8 bits corta».

É assim que a Lightricks descreve a essência da abordagem no seu blogue técnico.

Porque é que o vídeo generativo aguenta mal o grading

Os autores nomeiam o problema diretamente: os modelos de difusão de vídeo trabalham em SDR de 8 bits. No HDR guarda-se o brilho contínuo da cena, e o colorista pode baixar a exposição numa janela queimada ou levantar um canto escuro. No fotograma de 8 bits, no lugar da janela já há uma mancha branca e, nas sombras, uma queda para o preto. Ali não há nada para puxar. Por isso o clipe gerado monta-se mal com material HDR filmado e suporta mal uma correção séria.

Os autores dividem em dois grupos as formas existentes de adaptar modelos ao HDR. Umas alteram o espaço latente do codificador: para HDR treina-se uma nova representação, e isso é complexidade a mais e grandes exigências quanto aos dados. Outras apoiam-se em entradas auxiliares: máscaras de brilho, prompts de texto, imagens de referência externas. Segundo os investigadores, isso acrescenta trabalho manual, um prompt preciso é difícil de encontrar e o resultado é menos estável e divergente, muitas vezes, do material original. O LumiVid contenta-se com um único clipe SDR à entrada.

Como o logaritmo substitui um novo modelo

A observação chave do trabalho é esta: a codificação logarítmica comprime o HDR numa distribuição que coincide bem com aquela em que o modelo de vídeo já foi treinado. O modelo não tem de dominar um novo tipo de dados. Basta um treino adicional leve do adaptador, e o codificador mantém-se o mesmo. Segundo os dados dos autores, para o treino bastaram cerca de 300 pares sintéticos de clipes de 49 fotogramas cada, montados em cenas da Poly Haven.

A segunda parte do método diz respeito ao treino. Para que o modelo deduza por si os detalhes ausentes, os autores estragam os fotogramas SDR de entrada do mesmo modo que os estraga uma câmara: cortam o contraste, desfocam luzes e sombras, acrescentam artefactos de compressão MP4 e deslocam a exposição. Copiar píxeis o modelo não consegue, e restaura a gama dinâmica apoiando-se no que já sabe sobre o mundo. Na página do projeto está publicada uma comparação de três variantes: sem essa aumentação, apenas com desfoque e o modelo completo.

Ali mesmo mostra-se uma experiência de controlo, útil para compreender o método. Se passarmos o material apenas pelo descodificador, sem o próprio modelo de vídeo, a exposição pode ser levantada, mas os detalhes nas luzes não são restaurados, e não há estabilidade entre fotogramas. Daí decorre que é o modelo generativo que reconstrói a informação perdida.

O que se pode verificar por conta própria

Na página do projeto estão reunidos resultados SDR→HDR para vídeo e para fotogramas isolados. Um visualizador interativo permite deslocar a exposição até −3 EV, para verificar as luzes, e até +3 EV, para olhar as sombras. Ali o LumiVid é comparado com três métodos:

  • Tedla et al. pela receita oficial: 17 fotogramas na resolução 704×1280; depois disso este método mantém o último fotograma enquanto o LumiVid continua;
  • HDRTVNet++: processa os fotogramas um a um e depois estes são colados num vídeo;
  • DiffHDR: pela receita oficial, com EXR lineares em Rec.709 à saída.

Para a apresentação, o resultado do LumiVid é convertido de EXR ACEScct para Rec.709 com uma subida de 2 EV e depois para BT.2020 HLG. O SDR original mantém-se em Rec.709. Além da comparação visual, os autores apresentam também uma medição: em material cinematográfico de câmaras ARRI, o LumiVid supera os melhores métodos existentes em 5,5 dB na métrica PU21-PSNR. A descrição completa do método está no artigo no arXiv. Os seus autores são a equipa da Lightricks, Mohamed Oumoumad da Gear Productions, e ainda Or Patashnik e Daniel Cohen-Or da Universidade de Tel Aviv.

A quem isto servirá e o que ainda não existe

A julgar pela descrição, o método dirige-se em primeiro lugar a coloristas e compositores que inserem planos gerados em material real. Atualmente, um plano desses comporta-se muitas vezes na montagem como estranho: as luzes fazem clipping, as sombras não se puxam. O EXR scene-linear à saída provavelmente permitirá fazer-lhe grading com as mesmas ferramentas que ao material filmado. Como à entrada se dá um clipe SDR comum, teoricamente a abordagem também é aplicável a material SDR já existente, mas os autores não analisam esse cenário em separado.

Nos produtos da Lightricks o terreno para isso já está preparado. Na documentação do LTX há uma secção sobre o trabalho com EXR e HDR: o modo Native HDR aceita OpenEXR scene-linear ou ACEScct, fotogramas e sequências, e devolve HDR com gestão de cor, para que o material siga para composição e finishing. Para as fontes SDR é mencionado ali um cenário separado, SDR to HDR, com os seus próprios modelos. Se é precisamente o LumiVid que lhe está associado, não é especificado nos materiais publicados.

Há também limitações. Nos materiais publicados não são indicados os requisitos de placa gráfica e o tempo de processamento, nem informações sobre se o código do próprio LumiVid será disponibilizado. Os detalhes nas luzes queimadas o modelo reconstrói a partir de representações aprendidas: no fotograma original esses dados não existem. Resulta um detalhe verosímil, mas inventado, e para o trabalho de VFX, onde importa a fidelidade factual do fotograma, vale a pena ter isso em conta.

Aceitarão os coloristas e os supervisores de VFX um detalhe inventado pelo modelo nas luzes, ou para o finishing continuará a ser demasiado arriscado?

0
Mais sobre o tema:
OpenEXR corrigiu 15 vulnerabilidades na leitura de ficheiros EXR
Viggle abriu os pesos do Remake, agente de vídeo para substituir personagens
Runway troca atores em vídeo já filmado sem nova filmagem
Runway monta uma app de IA a partir de uma descrição, sem código
Comentários0
data da postagem