실시간스트리밍

[2025 ETRI Technology Report 6] 안경 없이도 생생한 3D 영상 구현한다 – 곽상운 실감미디어연구실 선임연구원

최근 미디어 기술은 일반적인 2D 환경을 넘어 더욱 생생하고 몰입감 넘치는 3차원 입체 영상을 제공하는 방향으로 빠르게 진화하고 있습니다. 특히 인공지능 기술을 활용한 NeRF나 3D 가우시안 스플래팅 같은 장면 표현 기법이 각광받으며, 실감 나는 실사 기반의 입체 미디어 구현이 가능해졌습니다. 연구진은 이러한 흐름에 발맞춰 3차원 영상을 효과적으로 획득하고 스트리밍하기 위한 송수신 기술부터 국제 표준화, 사용자 단말에서의 실시간 렌더링까지 전 과정을 아우르는 핵심 원천 기술을 확보하는 데 주력하고 있습니다. 다시점 입체 영상은 일반적인 비디오에 비해 데이터 크기가 압도적으로 크기 때문에 이를 효율적으로 처리하는 특화된 압축 기술이 필수적입니다. 연구팀은 MPEG에서 개발한 MIV 국제 표준 기술을 적용하여 방대한 영상 정보를 효과적으로 압축하고 사용자 단말에서 실시간으로 디코딩하는 시스템을 구축하였습니다. 이를 통해 데이터의 중복성을 제거하면서도 원활한 스트리밍이 가능해졌으며, 실시간으로 디코딩된 영상 정보로부터 사용자 단말에 최적화된 시점 영상을 생성해내는 혁신적인 재현 환경을 마련하는 데 성공했습니다. 기존의 360도 VR 영상은 사용자가 고정된 위치에서 주변을 둘러보는 3자유도(3DoF) 방식에 머물러 있어, 실제 위치 이동에 따른 시차를 반영하지 못해 몰입감이 떨어지거나 멀미를 유발하는 한계가 있었습니다. 새로 개발된 실시간 가상 시점 합성 기술은 사용자의 미세한 시점 이동까지 감지하여 그 위치에 딱 맞는 영상을 실시간으로 생성해 줍니다. 이 기술을 통해 사용자는 실제 공간에 있는 것과 같은 깊이감을 느끼며, 이동 시 발생하는 시각적 이질감을 최소화하여 훨씬 자연스럽고 몰입도 높은 미디어 환경을 경험할 수 있습니다. 안경 없이도 입체 영상을 감상할 수 있는 기술은 사용자 편의성을 극대화하는 핵심 요소입니다. 연구팀은 다수의 카메라로 획득한 장면 정보를 인공지능 기반의 3차원 복원 기술로 처리하고, 이를 최대 51개의 시점 정보를 포함하는 라이트 필드 영상 형태로 재구성했습니다. 이 방식은 특정한 안경이나 장비를 착용하지 않고도 여러 사람이 동시에 각자의 위치에 맞는 입체 영상을 볼 수 있게 해줍니다. 이는 기존 HMD 장비가 가졌던 착용의 번거로움과 1인 체험이라는 제약을 극복하여, 실사 입체 미디어의 대중화 가능성을 보여주었습니다. 앞으로 이 기술은 단순한 시청을 넘어 스포츠 중계, 교육, 화상 회의 등 상호작용이 강조되는 다양한 산업 분야로 확산될 전망입니다. 연구팀은 향후 생성형 AI 기술을 접목하여 데이터 전송량은 획기적으로 줄이면서도 렌더링 품질과 속도를 높이는 경량화 프레임워크 개발에 박차를 가할 계획입니다. 과거의 기술적 한계들이 인공지능과의 결합으로 빠르게 해결되고 있는 만큼, 머지않은 미래에는 누구나 일상에서 고화질 3차원 실사 입체 미디어를 유튜브처럼 편리하게 스트리밍하고 즐기는 새로운 미디어 시대가 열릴 것으로 기대됩니다.

BeeAI 활용 교육 영상(10) - 전주기 개발실습

인공지능 서비스의 전 주기(Full-Cycle) 개발은 데이터 수집부터 전처리, 모델 생성 및 서빙에 이르는 모든 과정을 통합하는 정밀한 작업입니다. 이번 실습에서는 교통 속도 예측 시나리오를 바탕으로 실시간 시계열 데이터를 처리하는 전체 과정을 체계적으로 살펴봅니다. AE 엔진을 활용하여 초 단위로 유입되는 원천 데이터를 수집하고, 이를 5분 단위의 평균 속도로 가공하는 것이 첫 번째 단계입니다. 이 과정은 데이터의 흐름을 끊김 없이 관리하며 예측 모델이 필요로 하는 양질의 기초 데이터를 마련하는 핵심적인 기반이 됩니다. 실시간 데이터 처리를 위해 Structured Streaming 기술이 적용됩니다. Kafka 파이프 리더와 라이터를 통해 데이터가 흐르며, 스키마 정보를 설정하여 데이터 정합성을 유지합니다. 특히 IoT 기기에서 발생하는 데이터의 지연 가능성을 고려해 워터마크를 설정하거나, 시스템 장애 시 데이터 유실을 방지하기 위한 체크포인트 위치(Checkpoint Location)를 지정하는 등 안정적인 데이터 수집 환경을 구축합니다. 이러한 기술적 설정은 대규모 스트림 데이터를 신속하고 정확하게 처리하여 분석의 신뢰도를 높이는 데 필수적인 요소로 작용합니다. 수집된 데이터는 모델이 학습할 수 있는 형태로 변환되어야 합니다. Group By 오퍼레이터를 활용해 1분과 5분 단위의 윈도우 크기를 설정하고 평균 속도를 산출합니다. 이후 Min-Max 스케일러를 통해 속도 값을 0에서 1 사이로 정규화하고, Pivot 오퍼레이터로 시계열 데이터를 가로로 나열하여 벡터화합니다. 이 과정에서 컬럼의 순서를 학습 코드가 원하는 방식에 맞춰 정렬하는 힌트 정보를 제공함으로써, 모델이 입력된 데이터를 정확하게 해석하고 성능을 발휘할 수 있도록 최적의 전처리를 수행합니다. 전처리가 완료된 데이터는 TensorFlow 오퍼레이터를 통해 실제 모델에 전달됩니다. 서빙 단계에서는 미리 정의된 모델의 URL과 이름을 기반으로 현재 교통 상황을 질의하고, 모델은 15분 후의 예측 결과를 도출합니다. 결과 데이터는 다시 Kafka 파이프 라이터를 통해 특정 토픽으로 쌓이며, 이를 통해 실시간으로 예측된 교통 정보를 사용자에게 즉각 제공할 수 있습니다. 이는 정적 모델에 머물지 않고 실시간 데이터에 능동적으로 반응하는 지능형 서비스의 구체적인 구현 사례라고 할 수 있습니다. 진정한 의미의 전 주기(Full-Cycle) 개발은 모델의 지속적인 갱신을 포함합니다. 배치 엔진을 활용해 매 5분마다 최신 데이터를 수집하고 학습용 CSV 파일을 생성하며, 이를 바탕으로 딥러닝 트레이닝이 반복 실행됩니다. 사용자는 에포크(Epoch)나 목적 함수와 같은 하이퍼파라미터를 직접 설계하여 모델 성능을 최적화할 수 있으며, 새롭게 학습된 모델은 서빙 단계에 곧바로 반영됩니다. 이러한 자동화된 파이프라인은 변화하는 도로 상황에 맞춰 모델을 최신 상태로 유지하게 하며, 최종적으로 시각화 UI와 결합되어 완성도 높은 시스템이 됩니다.

실시간스트리밍

[2025 ETRI Technology Report 6] 안경 없이도 생생한 3D 영상 구현한다 – 곽상운 실감미디어연구실 선임연구원

한국전자통신연구원ETRI 테크놀로지 리포트

BeeAI 활용 교육 영상(10) - 전주기 개발실습

한국전자통신연구원ETRI 클래스