MAGO®TECHNOLOGY

OMNI SOUND / HEAD-TRACKED AUDIO

TECHNOLOGY 03

고개가 돌아가도,
소리는 제자리에.

정면에 놓인 소리는 고개를 왼쪽으로 돌리면 귀를 기준으로 오른쪽에 있게 됩니다. 머리 추적은 이 좌표 관계를 계속 갱신해, 장면과 청취자의 움직임을 연결합니다.

머리 회전 예시 들어보기 ↗
음원과 두 귀의 상대 방향위를 정면으로 한 평면도. 음원 방위각과 머리 방향을 바꾸면 머리 기준 상대 방향을 확인할 수 있습니다.WORLD SPACE / 전방왼쪽 +90°오른쪽 −90°YOU음원두 귀까지의 관계는 머리 방향에 따라 달라집니다

머리 기준 음원 방위각 0°

방향 관계를 설명하는 모식도입니다. 선은 실제 음향 경로나 HRIR 필터 계산 결과가 아닙니다.
01 / THE IDEA

이 기술을 이해하는 세 가지 관점

01

장면은 월드 좌표

소리 객체의 위치와 이동은 장면 기준으로 유지합니다.

02

재생은 머리 좌표

센서 자세를 ADM 좌표계로 변환하고 객체의 상대 방향을 계산합니다.

03

블록 경계에서 전환

방향 필터가 바뀔 때 한 블록 동안 이전·다음 출력을 섞어 급격한 전환을 완화합니다.

02 / THE PROCESS

입력에서 출력까지

  1. 01

    자세 받기

    기록된 자세 또는 UDP 자세 수신 경로를 사용합니다.

  2. 02

    좌표계 통일

    입력 프레임을 ADM 기준 yaw·pitch·roll로 변환합니다.

  3. 03

    객체·HOA 회전

    객체 방향을 변환하거나 차수별 HOA 회전 행렬을 적용합니다.

  4. 04

    블록 출력

    분할 합성곱과 필터 크로스페이드 후 헤드폰 출력을 만듭니다.

03 / INSIDE MAGO

코드로 구현된 처리

같은 엔진, 두 가지 실행

코드의 블록 엔진은 오디오 콜백과 오프라인 자세 로그 재생에 공통으로 사용됩니다. 따라서 합성 머리 회전으로 파일을 생성하는 경로와 실시간 자세를 받는 경로를 비교할 수 있습니다.

처리 시간과 전체 지연

블록 처리 시간은 오디오 계산에 든 시간입니다. 실제 HMD의 지연에는 자세 전송과 오디오 장치 버퍼 등도 더해집니다. 파일 처리 RTF가 작다고 장치 전체의 지연이 검증된 것은 아닙니다.

알아두면 좋은 용어

월드 / 머리 좌표
공간에 고정된 기준과 청취자의 머리에 고정된 기준.
분할 합성곱
긴 필터를 블록으로 나눠 주파수 영역에서 처리하는 방식.
크로스페이드
이전 출력과 새 출력을 짧은 구간 동안 부드럽게 교차시키는 처리.

HEAR THE TECHNOLOGY

설명을 소리로 확인해 보세요.

헬리콥터에서 헤드폰 기본과 머리 회전 예시를 전환해 보세요. 원래 음원의 이동과 모사된 청취자 회전이 함께 영향을 준다는 점에 주목해 주세요.

머리 회전 예시 들어보기 ↗
이 설명의 구현 근거

렌더러 코드의 아래 모듈과 심볼을 확인해 작성했습니다. 도해는 원리 설명용이며 성능 측정 결과가 아닙니다.