Lightricks 让 8 位视频重获高光与暗部
Lightricks 的研究人员展示了一种从普通 8 位 SDR 片段获得 HDR 视频的方法。为此并不重新训练生成式视频模型:其权重与编码器被冻结。画面以对数编码 ACEScct 输入,这种编码调色师在电影流程中并不陌生,而训练的只有一个小小的适配器。它补回在以 8 位记录时丢失的高光与暗部细节。
该方法名为 LumiVid。输出为 16 位半精度浮点的 scene-linear EXR 序列,也就是面向调色与合成的素材。此后曝光可以在后期调整,无需重新生成。
「一个小小的适配器学会填补被 8 位视频裁掉的高光与暗部」。
Lightricks 在自己的技术博客中就是这样描述该方法的要旨。
为什么生成式视频不适合调色
作者直接点明了问题:视频扩散模型工作在 8 位 SDR 下。HDR 中保存的是场景的连续亮度,调色师可以压低过曝窗户的曝光,或把暗角提起来。在 8 位画面里,窗户的位置已经是一块白斑,而暗部则是跌入死黑。那里已无可提取之物。因此生成出的片段与实拍 HDR 素材难以剪接在一起,也经不起大幅度的校正。
作者把现有的让模型适配 HDR 的办法分为两类。一类改动编码器的潜空间:为 HDR 训练新的表征,这意味着多余的复杂度和对数据的高要求。另一类依赖辅助输入:亮度蒙版、文本提示、外部参考图像。按研究人员的说法,这增加了手工操作,精确的提示词难以找到,而结果稳定性较差,还常常与原始素材不一致。LumiVid 在输入端只需要一段 SDR 片段。
对数如何替代一个新模型
这项工作的关键观察是:对数编码把 HDR 压缩成一种分布,它与视频模型已经训练过的数据分布吻合良好。模型无需掌握新的数据类型。只要对适配器做轻量的追加训练即可,而编码器保持原样。据作者的数据,训练只用了约 300 对合成片段,每段 49 帧,在 Poly Haven 的场景上制作。
方法的第二部分关于训练。为了让模型自己推想出缺失的细节,作者按照相机破坏画面的方式去破坏输入的 SDR 帧:裁剪对比度,模糊高光与暗部,加入 MP4 压缩伪影,并移动曝光。模型无法复制像素,只能依靠它已知的世界常识去恢复动态范围。项目页面上放出了三种版本的对比:不做这种增强的、仅做模糊的,以及完整模型。
同处还展示了一项有助于理解该方法的对照实验。如果只让素材经过解码器,而不经过视频模型本身,曝光是可以提起来的,但高光中的细节不会恢复,帧与帧之间也缺乏稳定性。由此可见,丢失的信息是由生成模型补出来的。
可以自己验证什么
项目页面汇集了视频和单帧的 SDR→HDR 结果。交互式查看器允许把曝光下移到 −3 EV 以检查高光,上移到 +3 EV 以查看暗部。LumiVid 在那里与三种方法作了对比:
- Tedla et al.,按官方配方:704×1280 分辨率下的 17 帧,之后该方法保持最后一帧不变,而 LumiVid 继续生成;
- HDRTVNet++:逐帧处理,之后再拼接成视频;
- DiffHDR:按官方配方,输出为 Rec.709 的线性 EXR。
为了展示,LumiVid 的结果从 ACEScct EXR 转换到 Rec.709,并提升 2 EV,随后转到 BT.2020 HLG。原始 SDR 保留在 Rec.709。除视觉对比之外,作者还给出了测量数据:在 ARRI 摄影机拍摄的电影级素材上,LumiVid 按 PU21-PSNR 指标领先现有最佳方法 5.5 dB。该方法的完整描述见 arXiv 上的论文。其作者为 Lightricks 团队、来自 Gear Productions 的 Mohamed Oumoumad,以及特拉维夫大学的 Or Patashnik 和 Daniel Cohen-Or。
谁会用得上,以及目前还缺什么
从描述来看,该方法首先面向把生成镜头插入实拍素材的调色师与合成师。目前这样的镜头在剪辑中常常显得格格不入:高光被裁切,暗部提不起来。输出的 scene-linear EXR 大概会让人能用与实拍素材相同的工具去调色。由于输入端给的是普通 SDR 片段,理论上这一思路也适用于已有的 SDR 素材,但作者并未单独讨论这种情形。
在 Lightricks 的产品中,相关土壤已经备好。LTX 的文档里有一节讲使用 EXR 与 HDR:Native HDR 模式接受 scene-linear 或 ACEScct 的 OpenEXR,可以是单帧也可以是序列,并返回带色彩管理的 HDR,以便素材继续进入合成与成片环节。针对 SDR 源文件,那里提到了单独的 SDR to HDR 方案,配有自己的模型。它与 LumiVid 究竟是否相关,已公开的材料中并未说明。
局限也存在。已公开的材料没有给出显卡要求和处理时间,也没有说明 LumiVid 本身的代码是否会放出。过曝高光中的细节由模型从学到的表征中补出:原始画面里并没有这些数据。得到的是貌似可信但却是臆造出来的细节,而对于看重画面事实真实性的 VFX 工作来说,这一点值得注意。
调色师与 VFX 总监会接受模型在高光中臆造出的细节,还是说对成片而言它依然风险过高?