이어폰 속 소리가 ‘머리 밖’에서 들리는 비밀
이어폰으로 영화를 보다가 헬리콥터 소리가 머리 위를 지나가는 것처럼 들린 적 있으시죠? 애플의 공간 음향, 게임의 3D 사운드, VR 오디오가 다 공간 음향(Spatial Audio) 기술이에요. 그런데 이런 상용 이펙트는 대부분 내부가 공개되지 않은 블랙박스예요. 돈 주고 사서 쓰긴 하는데, 안에서 정확히 무슨 일이 일어나는지는 알 수가 없죠.
오늘 소개할 글은 한 개발자가 상용 공간 음향 이펙트를 역공학(reverse engineering)으로 파헤친 기록이에요. 소스 코드 없이 ‘소리를 넣고 나오는 소리를 관찰하는’ 방법만으로 내부 구조를 추론해 가는 과정이 흥미로운데요. 제대로 즐기려면 공간 음향의 원리와 오디오 역공학의 기본 도구를 먼저 알아두면 좋아요. 하나씩 풀어볼게요.
공간 음향의 세 가지 재료
사람은 귀가 두 개뿐인데도 소리가 어디서 나는지 꽤 정확하게 알아채요. 비결은 크게 세 가지예요.
ITD(양 귀 시간 차): 오른쪽에서 난 소리는 오른쪽 귀에 먼저 닿고, 왼쪽 귀에는 아주 조금 늦게 닿아요. 그 차이는 많아야 0.7밀리초 정도인데, 뇌는 이걸 귀신같이 잡아내요.
ILD(양 귀 레벨 차): 머리가 그림자처럼 소리를 가려서 반대쪽 귀에는 소리가 더 작게 들려요. 고음일수록 이 효과가 커지고요.
HRTF(머리전달함수): 이게 핵심이에요. 귓바퀴, 머리, 어깨의 생김새 때문에 소리가 오는 방향에 따라 특정 주파수가 커지거나 작아지거든요. 쉽게 말하면 ‘방향마다 다른 EQ 필터 세트’예요. 앞뒤나 위아래를 구분하는 단서가 바로 여기서 나와요. MIT KEMAR, CIPIC 같은 공개 HRTF 데이터셋이 있고, 이런 데이터를 담는 표준 포맷으로 SOFA(AES69)도 있어요.
공간 음향 이펙트는 대부분 이 재료들에 잔향(reverb) 같은 처리를 섞어서 만들어요.
블랙박스를 여는 열쇠: LTI 시스템
오디오 이펙트를 역공학할 때 가장 강력한 무기는 LTI(선형 시불변) 시스템이라는 개념이에요. 이게 뭐냐면, ‘선형’은 입력을 두 배로 키우면 출력도 두 배가 되고, 두 소리를 섞어서 넣은 결과가 하나씩 넣은 결과를 더한 것과 같다는 뜻이에요. ‘시불변’은 지금 넣든 10초 뒤에 넣든 똑같이 반응한다는 뜻이고요.
이펙트가 LTI라면 놀라운 일이 생겨요. 손뼉을 한 번 쳤을 때의 반응, 즉 임펄스 응답(IR)만 알면 어떤 소리를 넣어도 출력을 정확히 예측할 수 있거든요. 입력에 IR을 ‘컨볼루션’이라는 연산으로 합치기만 하면 되니까요. 그래서 오디오 역공학은 보통 이런 순서로 진행돼요.
1. 선형성·시불변성 테스트: 같은 신호를 크기만 바꿔서, 또 넣는 시점만 바꿔서 넣어봐요. 결과가 어긋나면 내부에 컴프레서나 모듈레이션 같은 요소가 숨어 있다는 뜻이에요.
2. IR 측정: 짧은 ‘딱’ 소리보다는 사인 스윕을 많이 써요. 낮은 음에서 높은 음으로 쭉 올라가는 신호를 넣고, 출력에 역필터를 걸어 IR을 뽑아내는 방식이에요. 노이즈에 강하고 왜곡 성분도 따로 떼어낼 수 있어요.
3. 파라미터 스윕: 방향 노브를 1도씩 돌려가며 IR을 모아요. 각도에 따라 필터가 계단처럼 툭툭 바뀌는지, 부드럽게 보간되는지를 보면 내부 구현을 짐작할 수 있어요.
4. 널 테스트: 직접 만든 재현 모델의 출력을 위상 반전해서 원본 출력에 더해요. 둘이 완벽히 같으면 소리가 0이 되고, 남는 소리가 곧 ‘아직 못 풀어낸 부분’이에요.
사인 스윕으로 IR을 뽑는 과정을 파이썬으로 써보면 대략 이래요.
import numpy as np
from scipy.signal import fftconvolve
fs, T = 48000, 5.0
f1, f2 = 20, 20000
t = np.arange(int(fs * T)) / fs
R = np.log(f2 / f1)
sweep = np.sin(2 np.pi f1 T / R (np.exp(t * R / T) - 1))
# 역필터: 시간을 뒤집고, 고음 쪽에 부족한 에너지를 보정
inverse = sweep[::-1] np.exp(-t R / T)
# recorded: 이펙트를 통과시켜 녹음한 출력
ir = fftconvolve(recorded, inverse)
이렇게 뽑은 IR을 공개 HRTF 데이터셋과 비교해보면 상용 제품이 어떤 데이터를 바탕으로 만들어졌는지 힌트를 얻을 수도 있어요. 저자가 실제로 어떤 단계를 거쳐 어떤 결론에 이르렀는지는 원문에서 직접 따라가 보세요.
업계 맥락: 비밀은 생각보다 공개된 원리 위에 있어요
공간 음향 시장에는 애플, 돌비 애트모스, 소니 360 Reality Audio 같은 상용 기술이 있지만 오픈소스 쪽도 꽤 탄탄해요. 구글의 Resonance Audio와 밸브의 Steam Audio가 오픈소스로 공개돼 있고, SOFA 파일을 읽는 libmysofa 같은 라이브러리도 있어요. 결국 상용 제품의 차별점은 원리 자체보다 튜닝과 디테일인 경우가 많은데, 역공학이 바로 그 디테일을 드러내 주는 거예요.
요즘은 블랙박스 분석에 머신러닝을 쓰기도 해요. 기타 앰프의 입력과 출력 소리를 쌍으로 학습시켜 신경망으로 재현하는 Neural Amp Modeler가 대표적인 예예요. 전통적인 방식이 “구조를 이해해서 다시 만든다”라면, ML 방식은 “구조는 몰라도 똑같이 흉내 낸다”에 가까워요. 앰프처럼 비선형성이 강한 장비는 ML이 유리하고, LTI에 가까운 공간 음향 같은 이펙트는 고전적인 시스템 식별이 여전히 강력해요.
물론 주의할 점도 있어요. 공부나 호환성 확보를 위한 역공학은 흔한 일이지만, 제품 라이선스 약관과 결과물을 상업적으로 쓸 때의 특허·저작권 문제는 꼭 확인하세요.
한국 개발자에게 주는 시사점
첫째, 신호처리 기초는 오디오만의 이야기가 아니에요. 컨볼루션, FFT, LTI는 이미지 처리, 센서 데이터, 통신에서도 똑같이 쓰이거든요. 이 글은 이런 개념을 직접 손으로 익혀볼 수 있는 좋은 실습 교재예요.
둘째, 블랙박스를 분석하는 사고방식은 일반 개발에도 그대로 통해요. 문서 없는 외부 API나 레거시 시스템을 다룰 때도 결국 “입력을 통제하고, 출력을 관찰하고, 가설을 세워 검증한다”는 같은 과정을 반복하게 되니까요.
셋째, 당장 직접 해볼 수도 있어요. 브라우저의 Web Audio API에는 HRTF 기반 패닝을 지원하는 PannerNode와 IR로 잔향을 입히는 ConvolverNode가 기본으로 들어 있거든요. 게임이나 웹 오디오 서비스를 만드는 분이라면 라이브러리를 설치하지 않고도 공간 음향을 실험해볼 수 있어요.
마무리
한 줄 정리: 소스 코드가 없어도 신호를 넣고 결과를 잘 들어보면 블랙박스를 열 수 있어요.
여러분은 문서도 소스도 없는 시스템을 입력과 출력만 보고 분석해본 경험이 있으세요? 오디오가 아니어도 괜찮으니, 어떤 방법이 가장 잘 통했는지 들려주세요!
🔗 출처: Hacker News