Soundfield Endpoint Submix

Mark as Draft

정의

Unreal Engine 내부에서 다채널 Audio Signal을

📄

Ambisonics 같은 3차원 공간 구형 데이터로 인코딩한 뒤 기본 Master

📄

Sound Submix를 거치지 않고 운영체제의 공간 음향 렌더러나 외부 3D Audio 디코더로 직접 송출하는 특수 라우팅 Asset이다.

설명

과거 5.1 채널이나 7.1 채널 기반의 평면적인 Surround Sound 시스템은 청취자의 머리 위나 아래에서 발생하는 소리를 정확하게 표현하는 것이 물리적으로 불가능했다.

가상현실 기기와 3D Audio 하드웨어가 발전함에 따라 Epic Games는 채널의 제약을 벗어나 소리가 구형의 공간 전체에 분포하는

📄

SoundField 기술을 엔진 코어에 도입했다.

일반적인

📄

Endpoint Submix가 단순한 채널 분리와 전송에 목적을 둔다면 이 Asset은 소리의 3차원 위치 정보와 방향성 데이터를 고스란히 보존하여 외부 하드웨어로 넘기는 것에 특화되어 있다.

현업 Pipeline에서는 Sony 3D Audio 플랫폼이나

📄

Dolby Atmos 규격에 맞춰 게임의 최종 Audio를 출력하거나 복잡한 가상현실 환경에서 사실적인 정위감을 청취자에게 전달하는 최상위 공간 음향 믹싱 노드로 작동한다.

원리

Ambisonics 포맷 변환

입력된 Audio Signal을 좌우 채널 스피커 위치로 나누는 대신 가상의 구형 공간을 수학적으로 분할하는

📄

Spherical Harmonics 체계를 사용하여 3차원 공간 지향성 데이터로 인코딩한다.

공간 메타데이터 보존

소리가 발생한 3D 좌표와 거리 감쇠 그리고 방향성 정보를 일반적인 오디오 파형과 결합하여 전송함으로써 외부 장치가 청취자의 머리 회전에 맞춰 소리를 실시간으로 재계산할 수 있게 돕는다.

운영체제 렌더러 직결

엔진 내부의 Master Submix를 물리적으로 우회하고 Windows Sonic이나 Apple Spatial Audio 같은 운영체제 단의 네이티브 공간 음향 디코더로 데이터를 찔러 넣어 하드웨어 가속을 유도한다.

서드파티 플러그인 확장

특정 회사의 독점적인 디코딩 기술에 종속되지 않고 다양한 제조사의 공간 음향

📄

Plug-In을 이 Asset에 결합하여 출력 규격을 런타임에 자유롭게 교체하는 모듈형 아키텍처를 지원한다.

구조

예시

VR Headset 몰입형 오디오 연동

가상현실 Game 환경에서 Player가 머리를 돌릴 때마다 소리의 발생 위치가 실시간으로 변해야 한다. 헬리콥터 소리나 괴물의 울음소리를 이 Asset으로 라우팅하여 HMD 하드웨어에 내장된 공간 디코더로 직접 송출함으로써 Player의 시선 추적 데이터와 Audio 방향을 수학적으로 완벽히 동기화하여 멀미 현상을 방어한다.

Dolby Atmos 홈 시어터 출력

AAA 급 Console Game을 개발할 때 거실의 천장 스피커를 포함한 다채널 홈 시어터 환경을 지원하기 위해 사용한다. 비행기가 머리 위로 지나가는 Audio Event를 기존 서브믹스 대신 이 Asset으로 우회시키고 Dolby Atmos Plugin과 결합하여 천장 채널로 정확한 고도 데이터를 전송하는 하이엔드 믹싱 Pipeline을 구축한다.

360도 Cinematic 비디오 렌더링

Game 트레일러를 YouTube 360도 영상 포맷으로 추출할 때 평면적인 Stereo Audio를 입히면 공간감이 완전히 붕괴된다. 전체 Game Audio를 1차 혹은 3차 Ambisonics 규격으로 세팅된 이 Asset을 거쳐 오프라인으로 바운스하여 영상 파일과 결합함으로써 시청자가 스마트폰을 돌리는 방향에 맞춰 배경음악과 대사의 위치가 입체적으로 회전하는 결과물을 창출한다.

Mark as Published