Renderu.com
10.3 K포스트
68.3 K팔로워
35.0 M방문
Alex Rowan

Lightricks, 8비트 영상의 하이라이트와 그림자를 되살린다

Lightricks의 연구진이 일반적인 8비트 SDR 클립에서 HDR 영상을 얻는 방법을 공개했다. 이를 위해 생성형 비디오 모델을 재학습하지는 않는다. 가중치와 인코더는 고정된 상태다. 프레임은 영화 파이프라인을 통해 컬러리스트에게 익숙한 로그 인코딩 ACEScct로 입력되고, 학습되는 것은 작은 어댑터 하나뿐이다. 이 어댑터가 8비트로 기록될 때 사라진 하이라이트와 그림자의 디테일을 복원한다.

이 방법의 이름은 LumiVid다. 출력물은 16비트 하프 플로트의 scene-linear EXR 시퀀스, 즉 색보정과 합성을 염두에 둔 소재다. 이후 노출은 다시 생성하지 않고도 후반 작업에서 변경할 수 있다.

Lightricks, 8비트 영상의 하이라이트와 그림자를 되살린다
연구 「HDR Video Generation via Latent Alignment with Logarithmic Encoding」의 삽화. 이미지: Lightricks
「작은 어댑터 하나가 8비트 영상이 잘라내는 하이라이트와 그림자를 채우는 법을 배운다」.

Lightricks는 자사 기술 블로그에서 이 접근법의 핵심을 이렇게 설명한다.

생성 영상이 그레이딩에 잘 맞지 않는 이유

저자들은 문제를 분명히 지목한다. 비디오 디퓨전 모델은 8비트 SDR에서 작동한다. HDR에는 장면의 연속적인 휘도가 저장되어, 컬러리스트는 날아간 창문의 노출을 내리거나 어두운 구석을 끌어올릴 수 있다. 8비트 프레임에서는 창문이 있던 자리에 이미 흰 얼룩이 있고, 그림자에는 검정으로 떨어지는 구간이 있다. 거기서 끌어낼 것은 없다. 그래서 생성된 클립은 촬영된 HDR 소재와 잘 붙지 않고, 본격적인 보정도 잘 견디지 못한다.

저자들은 모델을 HDR에 적응시키는 기존 방식을 두 그룹으로 나눈다. 하나는 인코더의 잠재 공간을 바꾸는 것이다. HDR을 위해 새로운 표현을 학습시키는데, 이는 불필요한 복잡성과 큰 데이터 요구를 뜻한다. 다른 하나는 보조 입력에 의존한다. 휘도 마스크, 텍스트 프롬프트, 외부 참조 이미지 등이다. 연구진의 말에 따르면 이는 수작업을 늘리고, 정확한 프롬프트를 찾기 어려우며, 결과는 덜 안정적이고 원본 소재와 자주 어긋난다. LumiVid는 입력으로 SDR 클립 하나만 있으면 된다.

로그가 새 모델을 대신하는 방식

이 연구의 핵심 관찰은 이렇다. 로그 인코딩은 HDR을, 비디오 모델이 이미 학습한 것과 잘 일치하는 분포로 압축한다. 모델이 새로운 데이터 유형을 익힐 필요가 없다. 어댑터를 가볍게 추가 학습하는 것으로 충분하고, 인코더는 그대로 남는다. 저자들의 자료에 따르면 학습에는 Poly Haven의 장면으로 구성한 49프레임 합성 클립 쌍 약 300개로 충분했다.

방법의 두 번째 부분은 학습에 관한 것이다. 모델이 빠진 디테일을 스스로 추론하도록, 저자들은 입력 SDR 프레임을 카메라가 망치는 방식대로 망친다. 콘트라스트를 잘라내고, 하이라이트와 그림자를 흐리게 하고, MP4 압축 아티팩트를 더하고, 노출을 이동시킨다. 모델은 픽셀을 복사할 수 없으므로, 세계에 대해 이미 알고 있는 것에 기대어 다이내믹 레인지를 복원한다. 프로젝트 페이지에는 세 가지 변형의 비교가 올라와 있다. 그러한 증강이 없는 경우, 블러만 적용한 경우, 그리고 전체 모델이다.

같은 곳에 방법을 이해하는 데 유용한 대조 실험도 제시되어 있다. 비디오 모델 자체를 거치지 않고 디코더만 통과시키면 노출은 올릴 수 있지만 하이라이트의 디테일은 복원되지 않고, 프레임 사이의 안정성도 없다. 이로부터 사라진 정보를 복원하는 것은 생성 모델이라는 결론이 나온다.

직접 확인할 수 있는 것

프로젝트 페이지에는 영상과 개별 프레임에 대한 SDR→HDR 결과가 모여 있다. 인터랙티브 뷰어에서는 하이라이트를 확인하기 위해 노출을 −3 EV까지, 그림자를 보기 위해 +3 EV까지 이동시킬 수 있다. 거기서 LumiVid는 세 가지 방법과 비교된다.

  • Tedla et al., 공식 레시피대로: 704×1280 해상도의 17프레임, 이후 이 방법은 마지막 프레임을 유지하는 반면 LumiVid는 계속 이어진다;
  • HDRTVNet++: 프레임을 하나씩 처리하고 이후 영상으로 이어 붙인다;
  • DiffHDR: 공식 레시피대로, 출력은 Rec.709의 선형 EXR.

시연을 위해 LumiVid의 결과는 ACEScct EXR에서 2 EV 상승과 함께 Rec.709로, 그다음 BT.2020 HLG로 변환된다. 원본 SDR은 Rec.709에 남는다. 시각적 비교 외에 저자들은 측정치도 제시한다. ARRI 카메라의 시네마틱 소재에서 LumiVid는 PU21-PSNR 지표로 기존 최고 방법들을 5.5dB 앞선다. 방법의 전체 설명은 arXiv의 논문에 있다. 저자는 Lightricks 팀, Gear Productions의 Mohamed Oumoumad, 그리고 텔아비브 대학교의 Or Patashnik과 Daniel Cohen-Or다.

누구에게 유용하고 아직 무엇이 없는가

설명으로 판단하면 이 방법은 우선 생성된 숏을 실제 소재에 삽입하는 컬러리스트와 합성 담당자를 향한다. 지금 그런 숏은 편집에서 흔히 이물질처럼 행동한다. 하이라이트는 클리핑되고 그림자는 끌어올려지지 않는다. 출력의 scene-linear EXR은 아마도 촬영 소재와 같은 도구로 그레이딩하게 해줄 것이다. 입력으로 일반적인 SDR 클립이 들어가므로 이론적으로는 이미 존재하는 SDR 소재에도 적용할 수 있지만, 저자들은 그 시나리오를 따로 다루지 않는다.

Lightricks 제품에는 이를 위한 토대가 이미 마련되어 있다. LTX 문서에는 EXR 및 HDR 작업에 관한 항목이 있다. Native HDR 모드는 scene-linear 또는 ACEScct OpenEXR을, 프레임과 시퀀스 형태로 받아들이고, 소재가 이후 합성과 피니싱으로 넘어가도록 컬러 관리와 함께 HDR을 반환한다. SDR 소스를 위해서는 자체 모델을 갖춘 별도의 SDR to HDR 시나리오가 언급되어 있다. 여기에 바로 LumiVid가 관련되는지는 공개된 자료에서 명시되지 않는다.

한계도 있다. 공개된 자료에는 그래픽카드 요구 사항과 처리 시간, 그리고 LumiVid 자체의 코드가 공개될지에 대한 정보가 제시되지 않았다. 날아간 하이라이트의 디테일은 모델이 학습된 표현에서 만들어낸다. 원본 프레임에는 그 데이터가 없다. 그럴듯하지만 지어낸 디테일이 나오는 것이며, 프레임의 사실적 신뢰성이 중요한 VFX 작업에서는 이를 고려할 만하다.

컬러리스트와 VFX 슈퍼바이저가 모델이 지어낸 하이라이트의 디테일을 받아들일까, 아니면 피니싱에는 여전히 너무 위험한 것으로 남을까?

0
관련 뉴스:
OpenEXR, EXR 파일 읽기 관련 취약점 15건 수정
Viggle, 등장인물 교체용 영상 에이전트 Remake의 가중치 공개
Runway, 이미 촬영한 영상의 배우를 재촬영 없이 교체
Runway, 설명만으로 코드 없이 AI 앱을 만든다
코멘트:0
포스트 날짜