초실감메타버스

[2025 ETRI Technology Report 6] 안경 없이도 생생한 3D 영상 구현한다 – 곽상운 실감미디어연구실 선임연구원

최근 미디어 기술은 일반적인 2D 환경을 넘어 더욱 생생하고 몰입감 넘치는 3차원 입체 영상을 제공하는 방향으로 빠르게 진화하고 있습니다. 특히 인공지능 기술을 활용한 NeRF나 3D 가우시안 스플래팅 같은 장면 표현 기법이 각광받으며, 실감 나는 실사 기반의 입체 미디어 구현이 가능해졌습니다. 연구진은 이러한 흐름에 발맞춰 3차원 영상을 효과적으로 획득하고 스트리밍하기 위한 송수신 기술부터 국제 표준화, 사용자 단말에서의 실시간 렌더링까지 전 과정을 아우르는 핵심 원천 기술을 확보하는 데 주력하고 있습니다. 다시점 입체 영상은 일반적인 비디오에 비해 데이터 크기가 압도적으로 크기 때문에 이를 효율적으로 처리하는 특화된 압축 기술이 필수적입니다. 연구팀은 MPEG에서 개발한 MIV 국제 표준 기술을 적용하여 방대한 영상 정보를 효과적으로 압축하고 사용자 단말에서 실시간으로 디코딩하는 시스템을 구축하였습니다. 이를 통해 데이터의 중복성을 제거하면서도 원활한 스트리밍이 가능해졌으며, 실시간으로 디코딩된 영상 정보로부터 사용자 단말에 최적화된 시점 영상을 생성해내는 혁신적인 재현 환경을 마련하는 데 성공했습니다. 기존의 360도 VR 영상은 사용자가 고정된 위치에서 주변을 둘러보는 3자유도(3DoF) 방식에 머물러 있어, 실제 위치 이동에 따른 시차를 반영하지 못해 몰입감이 떨어지거나 멀미를 유발하는 한계가 있었습니다. 새로 개발된 실시간 가상 시점 합성 기술은 사용자의 미세한 시점 이동까지 감지하여 그 위치에 딱 맞는 영상을 실시간으로 생성해 줍니다. 이 기술을 통해 사용자는 실제 공간에 있는 것과 같은 깊이감을 느끼며, 이동 시 발생하는 시각적 이질감을 최소화하여 훨씬 자연스럽고 몰입도 높은 미디어 환경을 경험할 수 있습니다. 안경 없이도 입체 영상을 감상할 수 있는 기술은 사용자 편의성을 극대화하는 핵심 요소입니다. 연구팀은 다수의 카메라로 획득한 장면 정보를 인공지능 기반의 3차원 복원 기술로 처리하고, 이를 최대 51개의 시점 정보를 포함하는 라이트 필드 영상 형태로 재구성했습니다. 이 방식은 특정한 안경이나 장비를 착용하지 않고도 여러 사람이 동시에 각자의 위치에 맞는 입체 영상을 볼 수 있게 해줍니다. 이는 기존 HMD 장비가 가졌던 착용의 번거로움과 1인 체험이라는 제약을 극복하여, 실사 입체 미디어의 대중화 가능성을 보여주었습니다. 앞으로 이 기술은 단순한 시청을 넘어 스포츠 중계, 교육, 화상 회의 등 상호작용이 강조되는 다양한 산업 분야로 확산될 전망입니다. 연구팀은 향후 생성형 AI 기술을 접목하여 데이터 전송량은 획기적으로 줄이면서도 렌더링 품질과 속도를 높이는 경량화 프레임워크 개발에 박차를 가할 계획입니다. 과거의 기술적 한계들이 인공지능과의 결합으로 빠르게 해결되고 있는 만큼, 머지않은 미래에는 누구나 일상에서 고화질 3차원 실사 입체 미디어를 유튜브처럼 편리하게 스트리밍하고 즐기는 새로운 미디어 시대가 열릴 것으로 기대됩니다.