9월 3일 출시되는 DLSS 5: NVIDIA, 업스케일러를 렌더링의 최종 단계로 바꾸다
NVIDIA가 DLSS 5를 둘러싼 가장 큰 의문에 답했다. 이 기술은 태평양 시간 9월 3일 21시에 공개되며, 데뷔작으로는 NBA 2K27이 선택됐다. 지원 범위는 GeForce RTX 50 Series의 모든 그래픽카드와 노트북, 그리고 GeForce NOW를 아우른다. RTX 40에 대해서는 발표에서 아무런 언급도 없었다.
여기서 중요한 것은 날짜가 아니다. DLSS는 더 이상 재구성 기술에만 머무르지 않는다. 이전 버전들은 엔진이 이미 계산해 놓은 것을 보완했다. 해상도, 추가 프레임, 깨끗한 레이 트레이싱 조명이 그것이다. 3D-Guided Neural Rendering을 적용한 DLSS 5는 화면에 아예 존재하지 않던 것을 더한다. 개발자들이 실시간 처리를 위해 포기했던 조명과 재질의 디테일이다. 아티스트와 테크니컬 디렉터에게 이는 파이프라인의 구조를 바꾸는 변화다. 화면의 최종적인 모습이 엔진이 프레임을 넘겨준 뒤에 만들어지기 때문이다.
엔진이 만든 프레임은 신경망에게 법이다
NVIDIA는 자사 기술을 텍스트 설명에 따른 생성과 구분한다. 기반이 되는 것은 제작진이 만든 지오메트리와 텍스처, 조명 버퍼가 모두 담긴 렌더링된 프레임이며, 신경망 모델은 그 위에서 그래픽 파이프라인의 마지막 단계로 동작한다. 회사의 표현은 이렇다. 엔진 프레임은 반드시 그대로 남아야 하는 것을 규정하고, 아티스트는 신경망이 바꿔도 되는 것을 지정한다. DLSS 5는 선택 사항으로 남으며 언제든 끌 수 있다.
봄에 처음 공개된 이후 이 기술이 비판받아 온 지점이 바로 그 경계였다. 처리를 거친 캐릭터의 얼굴이 종종 신경망으로 생성한 이미지처럼 보였기 때문이다. NVIDIA의 수장 Jensen Huang은 자신도 “AI slop”을 좋아하지 않는다고 밝히며 이 기술을 옹호했다. 정식 버전에 담긴 수동 조절 항목들은 그 비판에 대한 답으로 보인다.
신경망이 건드리면 안 되는 것은 아티스트가 정한다
개발자에게는 효과를 제어하는 다섯 가지 층위가 주어졌다.
- 모델 선택 — 학습 파라미터가 서로 다른 여러 가중치 세트로, 각각 최종 이미지에 고유한 성격을 부여한다;
- Structure Intensity — 고주파 디테일의 강도: 앰비언트 오클루전, 접촉 그림자, 서브서피스 스캐터링;
- Tone Intensity — 저주파 성분: 조명과 색 반응;
- 자동 마스킹 — 모델이 스스로 화면 속 오브젝트, 예컨대 캐릭터를 골라내 수동 지정 없이 선택적으로 적용된다;
- 개발자 마스킹 — 특정 오브젝트를 위한 픽셀 단위 마스크.
이 기능 묶음의 실질적인 의미는 아트 디렉션과 맞닿아 있다. 마스크를 쓰면 신경망 레이어를 특정 오브젝트로 한정할 수 있고, NVIDIA의 설명에 따르면 자동 인식은 팀이 오브젝트를 일일이 태깅하는 작업을 덜어 준다.
화질의 대가는 프레임으로 치른다
성능은 처음부터 DLSS 5의 약점이었다. NVIDIA는 첫 시연을 GeForce RTX 5090 두 장으로 진행했지만, 이제는 카드 한 장이면 충분하며 회사는 반년 만에 성능이 다섯 배 올랐다고 말한다. 다만 자체 측정은 Multi Frame Generation을 6X 모드로 켠 상태에서 이뤄졌다. 회사가 제시한 초당 233프레임과 370프레임은 여기서 나온 수치다.
이 숫자에서 6배 프레임 생성을 걷어내면 네이티브 렌더링 프레임레이트는 매우 낮아진다. 일부 시나리오에서는 초당 60프레임을 눈에 띄게 밑돈다. NVIDIA는 “DLSS 5 켬 / 끔”의 직접 비교를 공개하지 않았기 때문에, 독립적인 테스트가 나오기 전까지 이 효과의 실제 비용은 가늠할 수 없다. 알려진 바로는 최적화 작업이 연말까지 이어진다.
농구 시뮬레이터로 데뷔
데뷔작으로 NBA 2K27을 고른 것은 선뜻 이해되지 않는 선택이다. 이 시리즈는 한 번도 그래픽 기술의 쇼케이스로 여겨진 적이 없다. 다만 스포츠 시뮬레이터는 피부와 천, 빛을 다루는 기술에 선수 얼굴 클로즈업을 풍부하게 제공한다. 로컬 RTX 50 외에 이 기술은 클라우드 GeForce NOW에서도 사용할 수 있다. 자세한 내용은 개발자들과 이 기술의 개발진이 직접 설명한다.
NVIDIA가 하필 지금 렌더링을 신경망으로 옮기는 이유
주말 사이 모더들이 더 오래된 카드에서 거의 같은 수준의 성능 저하로 DLSS 5를 구동시킨 상황을 감안하면, 지원 목록에 RTX 40이 빠진 것은 엄격한 기술적 제약이라기보다 제품 차원의 결정으로 읽힌다. 이전 세대 사용자에게 무언가를 보장해 주지는 않지만, 그런 실험 이후로는 “하드웨어가 감당하지 못한다”는 논리가 힘을 잃는다.
3D-Guided Neural Rendering의 등장 자체는 초기 DLSS 시절부터 이어져 온 흐름과 맞아떨어진다. 전통적인 방식으로 계산되는 프레임의 비중은 꾸준히 줄고, 신경망이 복원하거나 채워 넣는 비중은 늘어난다. 처음에 신경망은 해상도를 맡았고, 이어 추가 프레임과 레이 트레이싱 조명의 재구성을 맡았으며, 이제는 조명과 재질을 맡는다. 이 흐름이 계속된다면 래스터 패스와 레이 트레이싱 패스는 점차 신경망 모델을 위한 상세한 힌트 모음으로 바뀌고, “아티스트 — 셰이더 — 엔진”으로 이어지는 사슬에는 코드가 아니라 슬라이더와 마스크로 동작을 조정하는 고리가 하나 더 붙게 된다.
스튜디오 입장에서 이는 상당히 구체적인 위험과 연결된다. 게임의 최종적인 모습이 드라이버 쪽 모델 버전에 좌우되기 시작하고, 따라서 아트 디렉션은 에디터 안에서만이 아니라 신경망 레이어의 출력 단계에서도 확인해야 한다. 사용자에게는 문제가 더 단순하다. 내세운 효과가 6X 모드의 프레임 생성에 기대고 있는 한, 화질에 관한 이야기는 결국 입력 지연에 관한 이야기로 이어진다. DLSS 5의 첫 독립 측정 결과가, 선언된 작가적 비전이 실제로 얼마나 비싼 값을 치르는지 보여 줄 것이다.
하필 지금 프레임 덧그리기에 승부수를 던진 이유는 무엇인가. 래스터화의 한계인가, RTX 50 판촉인가, FPS 수치 경쟁인가?