AI 기반 4D 복원 기술이 움직이는 인물과 객체를 다루는 영역으로 확장되면서 VFX 후반작업의 효율화 가능성이 열렸다.
AI 미디어테크 스타트업 스팩스페이스(대표 염민호)는 12일 성균관대학교 이장원 교수 연구팀과 공동 개발한 4D 복원 기술 연구 논문이 SCIE급 국제학술지 'KSII TIIS' 2026년 6월호에 게재됐다고 밝혔다.
이번 연구는 지난해 국제학술대회 'APIC-IST 2025' 우수논문상을 토대로 기술을 고도화한 결과물이며 염민호 대표도 공동 저자로 참여했다.
논문이 제시한 기술 '듀얼스플랫 플러스(DualSplat+)'는 3D 가우시안 스플래팅(3DGS) 기반 구조에서 움직이는 전경과 정지된 배경을 분리해 최적화하는 듀얼 스트림 아키텍처가 핵심이다.
기존 3D 복원 기술은 프레임마다 전체 장면을 통째로 갱신해 인물의 미세한 움직임에도 배경 벽면이나 바닥까지 함께 일그러지는 문제가 있었다.
듀얼스플랫 플러스는 움직임이 감지되는 영역에만 선택적으로 위치 변형 계산을 적용하고 배경은 고정 상태를 유지하도록 설계해 흔들림과 잔상을 원천 차단했다.
기술의 실질적 가치는 VFX와 영상 후반 제작 공정에서 확인된다. 영화나 뮤직비디오 후반 작업에서 카메라 동선을 바꾸거나 배경을 교체하려면 크로마키 촬영과 수작업 매트 페인팅, 로토스코핑(Rotoscoping) 작업이 필수적이었다.
이는 제작 기간을 크게 늘리고 중소형 제작사에 비용 부담을 안기는 요인이었다.
연구팀은 다수의 카메라로 촬영한 300프레임 길이 영상에서도 전경과 배경의 시간적 연결성을 유지하며 안정적인 복원 품질을 입증했다.
특히 전체 장면을 다시 계산하지 않고 복원 오차가 큰 부분만 골라 정밀 보강하는 동시에 불필요한 가우시안 요소를 정리해 데이터 저장 용량을 줄이는 경량화 기법을 병행했다.
이는 대규모 렌더링 서버를 갖추지 못한 독립 제작사나 스타트업도 시점 변환이나 복합 VFX 합성을 실시간에 가깝게 구현할 수 있는 데이터 효율을 확보했음을 의미한다.
이번 연구는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 'WITH' 사업단 과제로 수행됐으며 산학 협력이 콘텐츠 산업 현장의 실질적 수요로 연결된 사례로 평가받는다.
다만 기술이 상용 소프트웨어 패키지로 안착하기까지 넘어야 할 과제도 남아 있다. 통제된 스튜디오 환경을 벗어난 야외 촬영에서는 빛의 급격한 반사나 군중처럼 복합적인 다중 객체가 얽힐 때 전경과 배경을 분리하는 마스킹 과정에서 오류가 발생할 수 있다.
또한 기존 VFX 업계가 표준으로 쓰는 언리얼 엔진이나 마야 등 3D 그래픽 파이프라인과의 호환성 확보가 실제 시장 안착의 분수령이 될 전망이다.
