01 / THE IDEA
이 기술을 이해하는 세 가지 관점
01장면은 월드 좌표
소리 객체의 위치와 이동은 장면 기준으로 유지합니다.
02재생은 머리 좌표
센서 자세를 ADM 좌표계로 변환하고 객체의 상대 방향을 계산합니다.
03블록 경계에서 전환
방향 필터가 바뀔 때 한 블록 동안 이전·다음 출력을 섞어 급격한 전환을 완화합니다.
02 / THE PROCESS
입력에서 출력까지
- 01
자세 받기
기록된 자세 또는 UDP 자세 수신 경로를 사용합니다.
- 02
좌표계 통일
입력 프레임을 ADM 기준 yaw·pitch·roll로 변환합니다.
- 03
객체·HOA 회전
객체 방향을 변환하거나 차수별 HOA 회전 행렬을 적용합니다.
- 04
블록 출력
분할 합성곱과 필터 크로스페이드 후 헤드폰 출력을 만듭니다.
03 / INSIDE MAGO
코드로 구현된 처리
같은 엔진, 두 가지 실행
코드의 블록 엔진은 오디오 콜백과 오프라인 자세 로그 재생에 공통으로 사용됩니다. 따라서 합성 머리 회전으로 파일을 생성하는 경로와 실시간 자세를 받는 경로를 비교할 수 있습니다.
처리 시간과 전체 지연
블록 처리 시간은 오디오 계산에 든 시간입니다. 실제 HMD의 지연에는 자세 전송과 오디오 장치 버퍼 등도 더해집니다. 파일 처리 RTF가 작다고 장치 전체의 지연이 검증된 것은 아닙니다.
알아두면 좋은 용어
- 월드 / 머리 좌표
- 공간에 고정된 기준과 청취자의 머리에 고정된 기준.
- 분할 합성곱
- 긴 필터를 블록으로 나눠 주파수 영역에서 처리하는 방식.
- 크로스페이드
- 이전 출력과 새 출력을 짧은 구간 동안 부드럽게 교차시키는 처리.
HEAR THE TECHNOLOGY
설명을 소리로 확인해 보세요.
헬리콥터에서 헤드폰 기본과 머리 회전 예시를 전환해 보세요. 원래 음원의 이동과 모사된 청취자 회전이 함께 영향을 준다는 점에 주목해 주세요.
머리 회전 예시 들어보기 ↗이 설명의 구현 근거
렌더러 코드의 아래 모듈과 심볼을 확인해 작성했습니다. 도해는 원리 설명용이며 성능 측정 결과가 아닙니다.
omni/hmd/engine.py · BlockConvolver분할 합성곱과 필터 크로스페이드omni/hmd/engine.py · sh_rotation차수별 HOA 회전omni/hmd/pose.py · to_adm자세 좌표계 변환omni/hmd/realtime.py오디오 콜백·실시간 실행