[Unity/Audio] Unity 6 (Unity 6.3) + FMOD Core로 리듬 게임 '오선로'의 정박 오디오와 무가비지 캘리브레이션 구현하기
TL;DR
- 리듬 게임에서 화면 갱신 주기(
Update)로 시간을 더하면 프레임 변동과 소수점 오차가 쌓여 몇 분 만에 박자가 밀립니다.- 쿠고랑 (kugorang)의
오선로(Oseonro)는 Unity 6 (Unity 6.3) 환경에서 FMOD Core 오디오 엔진의 DSP 클록을 기준점으로 삼고, 첫 박자 앵커에서 N번째 박자 시각을 정수 나눗셈 한 번으로 직접 계산합니다.- 오디오 예약 경로와 지연 통계 계산에서 힙 메모리 할당을 0바이트로 막고, 60초 안에 소리 끊김이 3회 이상 생기면 DSP 버퍼를 256×2에서 512×2로 자동 전환합니다.
1. 왜 화면 프레임으로 박자를 세면 소리가 밀릴까
모바일이나 PC 게임은 보통 1초에 60번 화면을 새로 그립니다. 화면을 한 번 그릴 때마다 지나는 시간인 약 16.67밀리초(ms)를 매번 더해서 박자를 세는 방식은 단순하지만 두 가지 구조적 약점이 있습니다.
첫째는 오차의 누적입니다. 화면을 그리는 간격은 기기의 발열, 알림 창, 다른 프로그램 실행 상태에 따라 16ms에서 25ms 이상으로 계속 흔들립니다. 한 박자마다 0.5ms만 어긋나도 120 BPM 곡을 4분(480박자) 동안 재생하면 소리와 판정 기준이 눈으로 느낄 수 있을 만큼 벌어집니다.
둘째는 가비지 컬렉션(GC)에 의한 멈춤 현상입니다. C#으로 만든 게임 코드가 매 프레임 새 객체를 만들면 메모리를 치우는 순간 화면과 오디오 처리가 잠깐 멈춥니다. 리듬 게임에서 소리 한 박자가 10ms 이상 늦어지면 플레이어는 즉시 어색함을 느낍니다.
쿠고랑 (kugorang)에서 개발 중인 Unity 6 (Unity 6.3) 기반 음악 게임 오선로(Oseonro)는 이 두 문제를 해결하기 위해 화면 시간(Time.deltaTime)을 박자 계산에서 완전히 분리했습니다. 대신 오디오 카드가 실제로 소리를 내보내는 하드웨어 기준 시계인 FMOD Core의 DSP(디지털 신호 처리) 클록을 단일 기준점으로 사용합니다.

2. DSP 앵커 기반 정수 샘플 계산: BeatMath.ClickClock
DSP 클록은 초 단위가 아니라 1초에 48,000번 올라가는 정수 샘플 수(48,000 Hz 기준)로 시간을 셉니다. 여기서 중요한 설계 규칙은 이전 박자 시각에 한 박자 길이를 계속 더하지 않는 것입니다.
120 BPM이 아닌 137 BPM 곡에서는 한 박자의 샘플 수가 딱 떨어지는 정수가 아닙니다. 예를 들어 48,000 Hz에서 137 BPM의 한 박자는 약 21,021.8978 샘플입니다. 매 박자마다 소수점을 버리거나 반올림해 누적하면 오차가 계속 커집니다. 오선로(Oseonro)의 BeatMath.cs는 항상 첫 박자 기준점(anchorClock)과 박자 번호(n)만 받아 한 번의 정수 나눗셈으로 목표 샘플을 계산합니다.
// Assets/Oseonro/Core/Time/BeatMath.cs
public static ulong ClickClock(ulong anchorClock, long n, int bpm, int sampleRate)
{
ValidateBpm(bpm);
if (n < 0) throw new ArgumentOutOfRangeException(nameof(n));
if (sampleRate <= 0) throw new ArgumentOutOfRangeException(nameof(sampleRate));
// 반올림 나눗셈: 오차를 0.5샘플 미만으로 묶고 누적하지 않음
ulong numerator = (ulong)n * 60UL * (ulong)sampleRate + (ulong)(bpm / 2);
return anchorClock + numerator / (ulong)bpm;
}
분자에 bpm / 2를 미리 더한 뒤 정수 나눗셈을 수행하면 매 박자마다 가장 가까운 정수 샘플로 반올림됩니다. 이 방식은 n이 800번째 박자를 넘어가도 앞선 박자의 반올림 오차를 전혀 물려받지 않습니다. 실제 EditMode 단위 테스트(BeatMathTests.cs)에서는 60 BPM부터 200 BPM까지 모든 박자 속도에서 4분 동안의 이론값 대비 오차가 0.5샘플(48,000 Hz 기준 약 0.0104 ms) 미만임을 전수 검사로 확인했습니다.
3. 힙 할당 0바이트 정박 예약기: BeatScheduler
아무리 정확한 박자 시각을 계산해도, 그 시각에 소리를 울리라는 명령이 늦게 도착하면 정박이 무너집니다. BeatScheduler.cs는 현재 재생 시각보다 0.25초(SchedulerLookaheadSec) 앞서 미래의 클릭을 FMOD 채널 그룹에 미리 예약(setDelay)합니다.
이때 오디오 예약 루프 안에서 메모리 할당이 발생하지 않도록 두 가지 구조를 적용했습니다.
- 구조체 기반 기록(
readonly struct ScheduledClick): 예약된 클릭 번호와 DSP 클록을 클래스가 아닌 값 형식 구조체로 정의했습니다. - 고정 크기 링 버퍼(
ringCapacity = 64): 최근 예약 이력을 담는 배열을 생성자에서 한 번만 만들고 덮어씁니다.
또한 setDelay를 호출한 직후 getDelay로 실제 등록된 클록 값을 다시 읽어와(ReadbackMismatchCount), 예약이 의도와 다르게 들어갔거나 최소 리드타임(2버퍼)을 놓쳐 건너뛴 클릭(SkippedCount)이 없는지 실시간으로 집계합니다. 재생 중 사용자가 BPM을 바꾸더라도 이미 커밋된 클릭은 유지하고 다음 박자 경계에서 _anchor만 새로 잡아 끊김 없이 속도를 전환합니다.
4. 두 갈래 소리 끊김 감시와 자동 버퍼 폴백
컴퓨터나 스마트폰은 오디오 성능이 기기마다 크게 다릅니다. 오디오 버퍼를 작게 잡으면 반응이 빠르지만 CPU가 바쁠 때 소리가 찢어지는 언더런이 생기고, 버퍼를 크게 잡으면 안정적이지만 소리가 늦게 나옵니다.
AudioConstants.cs와 FmodGlitchMonitor.cs는 기본적으로 지연이 짧은 256×2 버퍼(48,000 Hz 기준 약 10.67 ms)로 시작하되, 두 가지 계통으로 오디오 상태를 동시에 감시합니다.
- 믹서 스레드 콜백(
OUTPUTUNDERRUN): FMOD 오디오 스레드가 직접 호출하는[MonoPInvokeCallback]함수 안에서는 Unity API 호출과 힙 할당을 금지하고, 오직 원자적 카운터 증가(Interlocked.Increment)만 실행합니다. - 메인 스레드 클록 스톨 휴리스틱(
Tick): 매 프레임 실제 흐른 시간(realtimeSec)에 따른 예상 샘플 진행량과 FMOD 마스터 그룹의 실제 DSP 클록 진행량을 비교합니다. 두 값의 차이가 현재 버퍼 길이(bufferLength)를 넘으면 오디오 스톨로 기록합니다.
// Assets/Oseonro/Audio/FmodGlitchMonitor.cs
double expectedAdvance = (realtimeSec - _lastRealtime) * _service.SampleRate;
double actualAdvance = clock - _lastClock;
double deficit = expectedAdvance - actualAdvance;
if (deficit > _service.Profile.bufferLength)
{
// DSP 클록이 실시간보다 1버퍼 이상 밀린 경우 스톨 기록
}
60초(GlitchWindowSec = 60.0) 안에 언더런과 스톨 합계가 3회(GlitchEventThreshold = 3) 이상 쌓이면, 시스템은 즉시 버퍼 크기를 512×2(약 21.33 ms)로 한 단계 올려 소리 끊김을 막습니다. 일시정지 후 재개할 때는 ResetBaseline()을 호출해 멈춰 있던 시간을 오디오 스톨로 잘못 세지 않도록 기준점을 초기화합니다.

5. 8클릭 캘리브레이션과 무가비지 P95 통계
기기 내부 버퍼를 줄여도 블루투스 이어폰이나 외장 스피커의 지연 시간까지 없앨 수는 없습니다. CalibrationComputer.cs는 120 BPM 메트로놈에 맞춰 플레이어가 화면을 8번(CalibrationTapCount = 8) 누르게 한 뒤, 예약된 클릭 시각과 실제 터치 시각의 차이를 밀리초 단위로 평균 내어 정수 보정값(calibMs)을 구합니다.
측정 도중 한 번이라도 박자 주기(500 ms)의 25%인 125 ms를 넘게 빗나간 탭이 들어오면 IsWithinTolerance가 이를 걸러 내어 해당 측정 회차를 다시 시작합니다. 평균을 정수로 반올림할 때는 MidpointRounding.AwayFromZero를 사용해 양수와 음수 지연 모두 대칭적으로 반올림합니다.
플레이 중 들어오는 판정 오차를 모으는 LatencyStats.cs 역시 생성 시점에 _samples 배열과 정렬용 _workBuffer 배열을 미리 잡아 둡니다. 덕분에 탭이 들어오는 경로에서 배열을 새로 만들지 않고도 전체 평균(Mean)과 상위 95% 지연(P95, Math.Ceiling(0.95 * _count))을 즉시 계산할 수 있습니다.
6. 오선로 오디오 파이프라인 주요 수치와 검증 기준
아래 표는 kugorang/oseonro 코드베이스에 정의된 오디오 정책 상수와 48,000 Hz 기준 계산 수치입니다.
| 항목 | 설정 값 및 코드 상수 | 48,000 Hz 환산 및 합격 기준 | 출처 파일 |
|---|---|---|---|
| 기본 DSP 버퍼 | 256 × 2 (PrimaryBufferLength) |
약 10.67 ms (총 512 샘플) | AudioConstants.cs |
| 폴백 DSP 버퍼 | 512 × 2 (FallbackBufferLength) |
약 21.33 ms (총 1,024 샘플) | AudioConstants.cs |
| 폴백 전환 조건 | 60초 내 3회 (GlitchEventThreshold) |
언더런 콜백 및 클록 스톨 합산 | FmodGlitchMonitor.cs |
| 스케줄러 룩어헤드 | 0.25초 (SchedulerLookaheadSec) |
최소 리드타임 2버퍼 확보 | BeatScheduler.cs |
| 정박 계산 오차 | 정수 반올림 나눗셈 (ClickClock) |
60부터 200 BPM까지 0.5샘플(0.0104 ms) 미만 | BeatMathTests.cs |
| 캘리브레이션 기준 | 120 BPM, 8클릭 (CalibrationTapCount) |
허용 편차 주기의 0.25(125 ms) 이내 | CalibrationComputer.cs |
쿠고랑 (kugorang)에서는 코드가 한 줄 바뀔 때마다 "코드 수정 ≠ 모의 시험 ≠ 실기기 검증 ≠ 운영 반영" 원칙을 따릅니다. BeatMath 및 CalibrationComputer 등 Unity 씬에 묶이지 않은 순수 C# 계산 코드는 EditMode 단위 테스트로 전수 검증하고, FMOD 콜백과 실제 기기별 블루투스 지연 보정은 별도의 실기기 테스트 단계에서 확인한 뒤 반영합니다.
자주 묻는 질문 (FAQ)
Q1. 왜 Unity 기본 AudioSource 대신 FMOD Core DSP 클록을 쓰나요?
Unity 기본 AudioSettings.dspTime보다 세밀한 버퍼 크기(256 × 2, 512 × 2) 제어와 채널 그룹 단위 미래 시각 예약(setDelay), 그리고 오디오 스레드 언더런 콜백(OUTPUTUNDERRUN) 감지를 직접 다루기 위해서입니다. BeatMath 자체는 FMOD에 의존하지 않는 순수 정수 계산 클래스로 분리해 단위 테스트 속도를 높였습니다.
Q2. 256×2에서 512×2로 버퍼가 커지면 박자가 밀리지 않나요?
버퍼가 커지면 소리가 물리적으로 출력되는 지연 시간이 약 10.67 ms 늘어날 수 있으나 BeatScheduler는 여전히 동일한 FMOD DSP 클록을 기준으로 소리를 예약하고 CalibrationComputer가 기기 전체 지연(calibMs)을 보정하므로 노래가 갈수록 어긋나는 누적 드리프트는 발생하지 않습니다.
Q3. 캘리브레이션에서 평균만 쓰지 않고 P95 지연까지 함께 모으는 이유는 무엇인가요?
평균 지연(Mean)만 보면 가끔 크게 튀는 프레임 스톨이나 블루투스 패킷 밀림을 놓치기 쉽습니다. LatencyStats가 힙 할당 없이 상위 95% 값(P95)을 함께 집계하면 전체 응답이 평균적으로는 빠르더라도 20번 중 1번씩 크게 흔들리는 기기 환경을 수치로 바로 파악할 수 있습니다.
출처:
kugorang/oseonro저장소 (Assets/Oseonro/Core/Time/BeatMath.cs,Assets/Oseonro/Audio/BeatScheduler.cs,Assets/Oseonro/Audio/FmodGlitchMonitor.cs,Assets/Oseonro/Core/Audio/AudioConstants.cs,Assets/Oseonro/Core/Calibration/CalibrationComputer.cs,Assets/Oseonro/Core/Diag/LatencyStats.cs,Assets/Oseonro/Tests/EditMode/BeatMathTests.cs)- 쿠고랑 (kugorang) 공식 제품 소개: https://hw.kugora.ng/ko/