Audio on dirac042

Magnitude Scaling Technique — SGMSE의 Amplitude Transformation

Thu, 13 Aug 2026 00:00:00 +0900

복소 STFT(cSTFT) 위에서 Diffusion을 돌릴 때, 유난히 큰 스펙트럼 피크 때문에 학습이 흔들리는 문제를 어떻게 다루는지에 대한 짧은 정리.

SGMSE 논문(Richter, Welker, Lemercier, Lay, Gerkmann, Speech Enhancement and Dereverberation with Diffusion-based Generative Models, IEEE/ACM TASLP 2023)에서 처음 사용한 기법이다.

논문에서는 Amplitude Transformation이라는 단어로 표현한다.

STFT에서 만들어지는 Complex Coefficient를 그대로 사용하되,
Phase는 유지하고, Magnitude를 Power-Law로 압축해 전체 Scale을 줄이자.

같은 신호의 |c|(왼쪽)와 β|c|^α(가운데). 크게 울리는 배음 몇 개가 화면을 독차지하던 것이, 압축 뒤에는 조용한 마찰음 덩어리와 희미한 상승음까지 보인다. 오른쪽은 α에 따른 압축 곡선.

Introduction

SGMSE의 Task: Speech Enhancement/Dereverberation을 cSTFT 도메인에서 수행.

Pred: Clean Speech의 Real/Imaginary Spectrogram
- 왜? Magnitude-only Domain에서는 Diffusion Process가 어색해진다.
- Magnitude는 음수가 될 수 없음 → Gaussian Noise를 더하면 음수값의 Amplitude가 나옴.

Amplitude Transformation

cSTFT Coefficient는 다음과 같이 정의된다:

c=|c|e^{i\angle c}

이때, $$|c|$$ 는 Magnitude, $\angle c$ 는 Phase다.

SGMSE는 위의 Coefficient를 다음과 같이 변환한다.

\tilde{c}=\beta |c|^{\alpha}e^{i\angle c}

$\alpha \in (0,1]$ : Magnitude Compression Exponent
$\beta > 0$ : Scale Factor

위를 자세히 보면, Phase, 그리고 Complex Direction은 전혀 바뀌지 않았고, Magnitude에만 Scaling이 가해졌다.

논문이 실험적으로 고른 값은 $\alpha=0.5$ , $\beta=0.15$ 다. 숫자로 감을 잡아보면: 어떤 빈의 크기가 100이고 다른 빈이 1이라면 원래는 100배 차이지만, $\alpha=0.5$ 를 거치면 $0.15\times10=1.5$ 대 $0.15\times1=0.15$ , 즉 10배 차이로 줄어든다. 큰 놈은 많이, 작은 놈은 조금 눌리는 것이 power-law 압축의 성질이다. 논문의 표현을 빌리면, α는 “에너지가 낮은 주파수 성분(예: 무성음의 마찰음)을 끌어올리는” 역할이고, β는 전체 크기를 diffusion 노이즈 스케일에 맞추는 정규화 역할이다.

Inverse Amplitude Transformation

위의 Representation은 역변환도 간단하다.

c=\left(\frac{|\tilde{c}|}{\beta}\right)^{\frac{1}{\alpha}}e^{i\angle \tilde{c}}

주의할 점 하나: 역변환은 $1/\alpha$ 제곱이라 압축된 도메인에서의 작은 오차가 원래 도메인에서는 증폭된다. $\alpha$ 를 너무 작게 잡으면 큰 성분의 오차가 커지는 이유다. 0.5는 그 사이의 타협점.

import numpy as np

def compress(c, alpha=0.5, beta=0.15): # c: complex STFT (F, T)
 return beta * np.abs(c) ** alpha * np.exp(1j * np.angle(c))

def decompress(c_tilde, alpha=0.5, beta=0.15):
 return (np.abs(c_tilde) / beta) ** (1 / alpha) * np.exp(1j * np.angle(c_tilde))

효과

너무 큰 Spectral Peak가 지배적이지 않게 만들 수 있다.
Low-Energy의 Speech 성분이 부각되어 숨소리 같은 소리가 잘 보존된다.
원래 Diffusion의 Noise Scale에서 어긋나지 않는다.
Extreme Magnitude가 덜 나와서 학습이 안정적이다.
Perceptual Relevance가 증가한다. (결과물이 더 그럴싸해진다.)

참고 자료

J. Richter, S. Welker, J.-M. Lemercier, B. Lay, T. Gerkmann, Speech Enhancement and Dereverberation with Diffusion-based Generative Models, IEEE/ACM TASLP 31, 2023. — 변환식, α=0.5·β=0.15, OU 드리프트 + Variance Exploding 확산으로 이루어진 SDE(OUVE)까지 이 논문.
S. Welker, J. Richter, T. Gerkmann, Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain, Interspeech 2022. — 같은 그룹의 앞선 버전.
코드: sp-uhh/sgmse — spec_transform 쪽을 보면 위 식이 그대로 있다.

Audio의 Mid-Side Representation

Mon, 06 Jul 2026 10:40:00 +0900

Binaural/Stereo 오디오를 모델에 넣을 때, 왜 Left/Right 대신 Mid/Side로 바꿔서 다루는지에 대한 짧은 메모.

Left-Right Processing

기본적으로 Binaural Audio 태스크에서 오디오는 2개의 Waveform으로 주어진다:

Left Waveform: 왼쪽 귀에서 들리는 소리
Right Waveform: 오른쪽 귀에서 들리는 소리

이 표현에는 문제점이 몇 가지 존재한다.

모델의 자원 낭비: Left와 Right의 에너지와 주파수의 Correlation은 90% 이상으로 매우 높다.
- 각각을 예측하라고 하면, Semantic/Acoustic을 두 번 중복해서 학습해야 한다.
Phase Error에 대한 페널티가 없다.
- L/R의 Phase가 1ms 어긋났다고 가정하자.
- 전체 Waveform의 관점에서는 둘 다 1ms 어긋났으니까, L1/MSE Loss의 변화가 없다.
- 하지만 사람이 들으면 입체감이 붕괴된 안 좋은 소리가 난다.

Mid-Side Processing

Left/Right 신호를 간단한 Linear Combination으로 나타내는 방법.

\text{Mid}=\frac{L+R}{2}

\text{Side}=\frac{L-R}{2}

Mid: 소리의 공통 성분. (Mono Downmix)
Side: 두 채널의 차이. (공간, 위상차, Reverb 등의 정보만 남음)

역변환도 간단하다: $L=\text{Mid}+\text{Side}$ , $R=\text{Mid}-\text{Side}$ .

가운데서 나는 소리(공통 성분)와 왼쪽에서 조금 늦게 오른쪽 귀에 닿는 소리를 섞은 예. L과 R은 거의 똑같아 보이지만, Side에는 두 귀의 차이 — 방향을 알려주는 성분 — 만 남는다.

장점

자원 낭비가 없다.
- Mid가 가지고 있는 정보와 Side가 가진 정보가 각각 다르다.
Phase Error에 직접적인 페널티가 존재한다.
- Side에 L1 Loss만 걸어줘도 Phase를 잡을 수 있다.
모노 호환·조절이 쉽다.
- Mid만 남기면 그대로 모노 다운믹스이고, Side에 gain만 곱하면 스테레오 폭이 조절된다. 방송·믹싱에서 M/S를 오래 써온 이유이기도 하다.

import numpy as np

def to_mid_side(x): # x: (2, T) stereo waveform
 L, R = x
 return np.stack([(L + R) / 2, (L - R) / 2])

def from_mid_side(ms):
 M, S = ms
 return np.stack([M + S, M - S])

참고 자료

R. Gao, K. Grauman, 2.5D Visual Sound, CVPR 2019 — mono에서 L−R을 예측해 binaural을 만드는 대표 논문.
Interaural time difference — Wikipedia, Mid/Side (stereophonic sound) — Wikipedia.

DAC (Descript Audio Codec) 정리

Mon, 06 Jul 2026 10:00:00 +0900

Descript Audio Codec: Neural Audio Codec (오디오를 작게 압축하고, 원본에 가까운 음질로 복원). 오디오 생성 모델들이 Latent를 만들 때 자주 쓰는 코덱이라 구조를 짧게 정리해 둔다. 논문은 Kumar et al., High-Fidelity Audio Compression with Improved RVQGAN (NeurIPS 2023). 숫자로 요약하면 44.1 kHz 오디오를 8 kbps, 약 90배 압축하면서 음성·음악·환경음을 모델 하나로 다룬다.

구조

Encoder: Waveform을 CNN에 태우기 → Continuous Latent Representation 생성
RVQ (Residual Vector Quantization)
- 연속적인 값을 Discrete한 Token으로 바꾸기 → Quantization
- 첫 번째 층: 전체적 뼈대만 잡아서 토큰화 → Residual이 크다
- 두 번째 ~ n번째 층: 이전 층의 오차(Residual)만 받아와서 Token화 → 반복…
- 오차가 0에 수렴 → 적은 Token으로 디테일한 소리 정보 저장.
Decoder: RVQ의 Discrete Token을 입력받아, Waveform으로 만들기
→ 훈련을 GAN으로 함. (그래서 이름이 RVQGAN)

RVQ 한 장 요약. 각 단계는 “남은 오차"만 양자화하므로, 뒤 코드북일수록 미세한 디테일을 담당한다.

구조적 특징

Fully Convolutional Network(FCN, 1차원 CNN)을 Encoder/Decoder에 사용
Snake Activation Function을 전 Layer에 사용 (주기가 있는 함수에 good)
Dilated Convolution으로 듬성듬성 넘어가서 Receptive Field 넓히기

Snake: $x+\frac{1}{\alpha}\sin^2(\alpha x)$ . 항등함수에 주기적인 굴곡이 들어가 있어서, ReLU로는 잘 못 배우는 주기 신호(= 소리)를 표현하기 좋다. 논문에서는 ReLU를 Snake로 바꾸는 것만으로 SI-SDR이 눈에 띄게 올랐다.

다음 이야기

→ Discrete Token을 생성하는 RVQ를 버리고, Continuous한 VAE를 쓰자 → DAC-VAE (Semantic-VAE)

참고 자료

R. Kumar, P. Seetharaman, A. Luebs, I. Kumar, K. Kumar, High-Fidelity Audio Compression with Improved RVQGAN, NeurIPS 2023. 코드/가중치: descriptinc/descript-audio-codec.
N. Zeghidour et al., SoundStream: An End-to-End Neural Audio Codec, 2021 — RVQ를 오디오 코덱에 처음 쓴 논문. A. Défossez et al., High Fidelity Neural Audio Compression (EnCodec), 2022 — DAC가 주로 비교하는 상대.
L. Ziyin, T. Hartwig, M. Ueda, Neural networks fail to learn periodic functions and how to fix it, NeurIPS 2020 — Snake activation의 출처. BigVGAN도 같은 활성함수를 쓴다.