Runway, 인터페이스를 영상 모델이 그리는 프로젝트 Continuum 공개
Runway가 샌프란시스코에서 열린 하루짜리 AI Summit을 Continuum 공개로 마무리했다. 연구 조직 Runway Labs의 새 프로젝트다. 공동 창업자 겸 공동 CEO인 Cristóbal Valenzuela는 마지막 발표를 생성형 영상이 어떻게 변해왔는지에 할애하면서, Runway Labs가 실시간 비디오 운영체제라고 부르는 이 프로젝트를 소개했다. Runway는 서밋 발표의 전체 녹화 영상을 추후 공개하겠다고 밝혔다.
Continuum의 기술적 세부 사항은 아직 공개되지 않았다. 발표문에서 알 수 있는 것은 이것이 Runway Labs의 최신 프로젝트이며 폐막 발표에서 공개됐다는 사실뿐이다. 서밋 자체는 9월 30일 The Masonic에서 열렸고, 월드 모델과 실시간 영상 생성, 로보틱스, 물리적 AI, 규제를 중심으로 구성됐다. NVIDIA, Google DeepMind, Wayve, Physical Intelligence, Adobe, Canva, Salesforce, Roblox, CoreWeave와 캘리포니아 주지사실 관계자가 참여했다.
코드 없는 인터페이스: Solaris
Runway는 별도로 Solaris를 소개했다. 회사가 Interface World Models, 즉 '인터페이스 월드 모델'이라고 부르는 계열의 첫 모델이다. 인터페이스 자체를 프레임 단위로 생성하는 실시간 대화형 모델로, 각 프레임이 상호작용이 진행되는 동안 합성되기 때문에 화면이 사용자의 동작에 끊임없이 반응한다. 디자인을 통상 변환해 넣는 중간 표현, 즉 코드가 이 구조에는 없고, 프레임 전체가 인터페이스가 된다.
Solaris는 상호작용 이해와 실시간 응답에 맞게 조정된 Gen-4.5 영상 모델을 기반으로 하며, 회사는 이를 자사의 범용 월드 모델인 GWM-1 계열의 연장선으로 설명한다. 모델은 사용자 입력을 텍스트나 이미지와 마찬가지로 다음 프레임의 조건으로 해석하고, 생성 과정에서 클릭과 드래그 등의 동작을 관찰한다. 동시에 언어 모델이 함께 작동한다. 요청을 해석하고 현재 장면을 바꿀지 새 장면으로 넘어갈지 판단하며, Solaris가 각 상태를 그려낼 프롬프트를 만든다. 실시간성은 세 단계로 구성된다. 자기회귀 방식의 프레임 생성, 다단계 노이즈 제거를 몇 단계로 줄이는 증류, 그리고 긴 세션에서도 품질이 유지되도록 빠른 모델을 자신의 출력으로 추가 학습시키는 과정이다.
Runway는 이 프로젝트가 맞닥뜨린 세 가지 엔지니어링 제약을 꼽는다. 지연이 0.5초 정도가 되면 상호작용성이 사라지는데, 확산 기반 영상 모델은 클립 하나를 몇 초에서 몇 분에 걸쳐 내놓는다. 일관성은 세션 전체에 걸쳐 유지해야 하지만, 생성형 영상이 역사적으로 특히 제대로 유지하지 못한 것이 바로 텍스트와 레이아웃, 객체의 정체성이며 작은 오류가 누적된다. 프레임마다 생성하는 비용은 한 번 만들어 둔 페이지를 내보내는 것보다 비싸다. 다만 실시간성을 가능하게 한 바로 그 최적화 덕분에 모델이 일반적인 영상 확산보다 자릿수가 달라질 만큼 저렴해졌다고 회사는 설명한다. 제시된 목표치는 실시간성, 세션 동안의 일관성, 720p 화질이다.
이 접근의 근거로 Runway는 '변환 비용' 측정 결과를 제시한다. Claude Fable 5를 포함한 멀티모달 언어 모델들에게 스크린샷 한 장만 보고 사이트 인터페이스를 재현하도록 요청했고, 대상은 단순한 페이지부터 이미지가 많은 페이지와 실사 사진이 들어간 페이지까지 30개 인터페이스였다. 유사도는 SSIM과 DINOv3 특징으로 평가했으며, 원본의 각 영역을 재현 결과에서 가장 비슷한 영역과 비교했다. 모든 모델이 정보를 잃고, 시각적 복잡도가 높아질수록 재현 품질이 떨어지며, 실사 이미지가 가장 크게 영향을 받는다.
회사가 Solaris용으로 제시한 시나리오에는 장면 자체가 인터페이스인 가상 쇼룸, 재료를 접시로 끌어다 놓아 샐러드를 만드는 작업, 물리적으로 그럴듯한 반응을 보이는 연소 과정의 대화형 시연이 있다. 두 번째 용도는 에이전트 학습 환경이다. Runway의 주장에 따르면 텍스트 모델은 호텔 예약 같은 컴퓨터 작업을 잘 처리하지 못하는데, 특정 레이아웃에 얽매이기 때문이다. Solaris는 끊임없이 바뀌는 인터페이스에서 학습할 수 있게 해준다.
영상 모델이 인터페이스로 향하는 이유
Continuum은 Runway가 최근 구축해 온 흐름, 즉 Gen-4.5와 월드 모델, 실시간 생성의 연장선으로 읽힌다. 서밋의 구성도 시사적이다. 영상 편집이 아니라 월드 모델과 로보틱스, 물리적 AI가 중심이었다는 점은 새 프로토타입 못지않게 포지셔닝의 변화를 말해준다.
그 배경에는 단순한 계산이 있을 것이다. 클립 생성 시장은 포화되고 경쟁이 심해졌지만, 실시간으로 대화형 장면을 유지할 수 있는 영상 모델은 Runway의 경쟁자가 더 적은 영역으로 가는 길을 열어준다. 에이전트와 로봇을 위한 시뮬레이터와 학습 환경, 시각화, 인터페이스가 그런 영역이다. 이 흐름이 계속되면 실시간 생성은 프레임을 그려내는 기존 방식과 경쟁하기 시작하고, 렌더링과 생성의 경계는 그래픽 전문가들에게 실무적인 문제가 될 것이다.
아티스트와 모델러, 개발자에게 당장의 영향은 시연보다 소박해 보인다. Continuum의 접근 조건은 회사가 밝히지 않았으므로 아직 파이프라인에 넣을 수는 없다. 투명성 문제도 남는다. 코드는 읽고 버전을 비교할 수 있지만 생성된 픽셀은 그럴 수 없다. 그리고 Runway가 직접 나열한 제약 목록, 즉 속도와 일관성, 비용, 텍스트와 레이아웃의 안정성은 생성형 영상이 업무 도구의 자리를 주장하기 전에 해결해야 할 과제 목록을 상당히 정확하게 보여준다.
인터페이스를 실시간으로 그리는 영상 모델은 업무 도구가 될 것인가, 아니면 컨퍼런스 데모로 남을 것인가?