dirac042

Magnitude Scaling Technique — SGMSE의 Amplitude Transformation

Thu, 13 Aug 2026 00:00:00 +0900

복소 STFT(cSTFT) 위에서 Diffusion을 돌릴 때, 유난히 큰 스펙트럼 피크 때문에 학습이 흔들리는 문제를 어떻게 다루는지에 대한 짧은 정리.

SGMSE 논문(Richter, Welker, Lemercier, Lay, Gerkmann, Speech Enhancement and Dereverberation with Diffusion-based Generative Models, IEEE/ACM TASLP 2023)에서 처음 사용한 기법이다.

논문에서는 Amplitude Transformation이라는 단어로 표현한다.

STFT에서 만들어지는 Complex Coefficient를 그대로 사용하되,
Phase는 유지하고, Magnitude를 Power-Law로 압축해 전체 Scale을 줄이자.

같은 신호의 |c|(왼쪽)와 β|c|^α(가운데). 크게 울리는 배음 몇 개가 화면을 독차지하던 것이, 압축 뒤에는 조용한 마찰음 덩어리와 희미한 상승음까지 보인다. 오른쪽은 α에 따른 압축 곡선.

Introduction

SGMSE의 Task: Speech Enhancement/Dereverberation을 cSTFT 도메인에서 수행.

Pred: Clean Speech의 Real/Imaginary Spectrogram
- 왜? Magnitude-only Domain에서는 Diffusion Process가 어색해진다.
- Magnitude는 음수가 될 수 없음 → Gaussian Noise를 더하면 음수값의 Amplitude가 나옴.

Amplitude Transformation

cSTFT Coefficient는 다음과 같이 정의된다:

c=|c|e^{i\angle c}

이때, $$|c|$$ 는 Magnitude, $\angle c$ 는 Phase다.

SGMSE는 위의 Coefficient를 다음과 같이 변환한다.

\tilde{c}=\beta |c|^{\alpha}e^{i\angle c}

$\alpha \in (0,1]$ : Magnitude Compression Exponent
$\beta > 0$ : Scale Factor

위를 자세히 보면, Phase, 그리고 Complex Direction은 전혀 바뀌지 않았고, Magnitude에만 Scaling이 가해졌다.

논문이 실험적으로 고른 값은 $\alpha=0.5$ , $\beta=0.15$ 다. 숫자로 감을 잡아보면: 어떤 빈의 크기가 100이고 다른 빈이 1이라면 원래는 100배 차이지만, $\alpha=0.5$ 를 거치면 $0.15\times10=1.5$ 대 $0.15\times1=0.15$ , 즉 10배 차이로 줄어든다. 큰 놈은 많이, 작은 놈은 조금 눌리는 것이 power-law 압축의 성질이다. 논문의 표현을 빌리면, α는 “에너지가 낮은 주파수 성분(예: 무성음의 마찰음)을 끌어올리는” 역할이고, β는 전체 크기를 diffusion 노이즈 스케일에 맞추는 정규화 역할이다.

Inverse Amplitude Transformation

위의 Representation은 역변환도 간단하다.

c=\left(\frac{|\tilde{c}|}{\beta}\right)^{\frac{1}{\alpha}}e^{i\angle \tilde{c}}

주의할 점 하나: 역변환은 $1/\alpha$ 제곱이라 압축된 도메인에서의 작은 오차가 원래 도메인에서는 증폭된다. $\alpha$ 를 너무 작게 잡으면 큰 성분의 오차가 커지는 이유다. 0.5는 그 사이의 타협점.

import numpy as np

def compress(c, alpha=0.5, beta=0.15): # c: complex STFT (F, T)
 return beta * np.abs(c) ** alpha * np.exp(1j * np.angle(c))

def decompress(c_tilde, alpha=0.5, beta=0.15):
 return (np.abs(c_tilde) / beta) ** (1 / alpha) * np.exp(1j * np.angle(c_tilde))

효과

너무 큰 Spectral Peak가 지배적이지 않게 만들 수 있다.
Low-Energy의 Speech 성분이 부각되어 숨소리 같은 소리가 잘 보존된다.
원래 Diffusion의 Noise Scale에서 어긋나지 않는다.
Extreme Magnitude가 덜 나와서 학습이 안정적이다.
Perceptual Relevance가 증가한다. (결과물이 더 그럴싸해진다.)

참고 자료

J. Richter, S. Welker, J.-M. Lemercier, B. Lay, T. Gerkmann, Speech Enhancement and Dereverberation with Diffusion-based Generative Models, IEEE/ACM TASLP 31, 2023. — 변환식, α=0.5·β=0.15, OU 드리프트 + Variance Exploding 확산으로 이루어진 SDE(OUVE)까지 이 논문.
S. Welker, J. Richter, T. Gerkmann, Speech Enhancement with Score-Based Generative Models in the Complex STFT Domain, Interspeech 2022. — 같은 그룹의 앞선 버전.
코드: sp-uhh/sgmse — spec_transform 쪽을 보면 위 식이 그대로 있다.

Audio의 Mid-Side Representation

Mon, 06 Jul 2026 10:40:00 +0900

Binaural/Stereo 오디오를 모델에 넣을 때, 왜 Left/Right 대신 Mid/Side로 바꿔서 다루는지에 대한 짧은 메모.

Left-Right Processing

기본적으로 Binaural Audio 태스크에서 오디오는 2개의 Waveform으로 주어진다:

Left Waveform: 왼쪽 귀에서 들리는 소리
Right Waveform: 오른쪽 귀에서 들리는 소리

이 표현에는 문제점이 몇 가지 존재한다.

모델의 자원 낭비: Left와 Right의 에너지와 주파수의 Correlation은 90% 이상으로 매우 높다.
- 각각을 예측하라고 하면, Semantic/Acoustic을 두 번 중복해서 학습해야 한다.
Phase Error에 대한 페널티가 없다.
- L/R의 Phase가 1ms 어긋났다고 가정하자.
- 전체 Waveform의 관점에서는 둘 다 1ms 어긋났으니까, L1/MSE Loss의 변화가 없다.
- 하지만 사람이 들으면 입체감이 붕괴된 안 좋은 소리가 난다.

Mid-Side Processing

Left/Right 신호를 간단한 Linear Combination으로 나타내는 방법.

\text{Mid}=\frac{L+R}{2}

\text{Side}=\frac{L-R}{2}

Mid: 소리의 공통 성분. (Mono Downmix)
Side: 두 채널의 차이. (공간, 위상차, Reverb 등의 정보만 남음)

역변환도 간단하다: $L=\text{Mid}+\text{Side}$ , $R=\text{Mid}-\text{Side}$ .

가운데서 나는 소리(공통 성분)와 왼쪽에서 조금 늦게 오른쪽 귀에 닿는 소리를 섞은 예. L과 R은 거의 똑같아 보이지만, Side에는 두 귀의 차이 — 방향을 알려주는 성분 — 만 남는다.

장점

자원 낭비가 없다.
- Mid가 가지고 있는 정보와 Side가 가진 정보가 각각 다르다.
Phase Error에 직접적인 페널티가 존재한다.
- Side에 L1 Loss만 걸어줘도 Phase를 잡을 수 있다.
모노 호환·조절이 쉽다.
- Mid만 남기면 그대로 모노 다운믹스이고, Side에 gain만 곱하면 스테레오 폭이 조절된다. 방송·믹싱에서 M/S를 오래 써온 이유이기도 하다.

import numpy as np

def to_mid_side(x): # x: (2, T) stereo waveform
 L, R = x
 return np.stack([(L + R) / 2, (L - R) / 2])

def from_mid_side(ms):
 M, S = ms
 return np.stack([M + S, M - S])

참고 자료

R. Gao, K. Grauman, 2.5D Visual Sound, CVPR 2019 — mono에서 L−R을 예측해 binaural을 만드는 대표 논문.
Interaural time difference — Wikipedia, Mid/Side (stereophonic sound) — Wikipedia.

MM-DiT — 두 모달리티를 동등하게 다루는 Diffusion Transformer

Mon, 06 Jul 2026 10:30:00 +0900

이전 노트에서 남긴 찝찝함 — 이미지/오디오가 주(主), 텍스트가 부(副)인 구조 — 을 정면으로 다루는 MM-DiT 정리. Stable Diffusion 3 논문(Esser et al., Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, 2024)에서 제안됐다.

기존의 DiT 구조는 2가지의 모달리티에 계층이 존재했다.

이미지, 오디오를 메인으로 두고,
텍스트를 보조 힌트로 사용.

이렇게 되면 2개의 모달리티의 깊이가 달라서, Deeper Level의 Alignment가 잘 안 되는 문제가 생긴다.

그러나 MM-DiT는 2개의 모달리티를 완벽하게 동등한 비중으로 다루게 된다.

Architecture

Stream을 2개로 쪼개자!
- Track A: Noise Token이 지나가는 길 (이미지/오디오)
- Track B: Text Token이 지나가는 길 (텍스트)
  - 이때 텍스트는 힌트로 쓰이고 버려지지 않고, 이미지랑 똑같이 블록을 통과할 때마다 스스로 update된다.
Joint Attention: 서로 다른 도로를 달리는 2개를 합치자!
1. 이미지/텍스트는 성질이 달라서, 독립적인 Linear 신경망을 거쳐 QKV 제작
2. 이미지 QKV와 텍스트 QKV를 Sequential하게 이어붙이기 (매우 큰 공간)
  → 이 공간 안에서 토큰들이 서로 Attention (픽셀, 텍스트와의 관계 학습)
  “사람들 4000명을 앉혀놓고, 전부 떠들게 만들기”
3. 정보를 가지게 된 토큰들을 다시 2개의 갈래로 나누기
4. 분리된 토큰들이 독립적인 MLP를 거쳐 최종적인 결과를 내리고, 다음 블럭으로 넘어가기

한 블록의 흐름. 두 트랙은 가중치(adaLN, QKV, MLP)를 따로 갖고, attention 한 번만 같은 방에서 한다.

SD3에서는 실제로 어떻게 조건을 만드나

텍스트 인코더를 세 개 쓴다: CLIP L/14, OpenCLIP bigG/14, T5-XXL. CLIP 두 개의 pooled 출력을 이어 붙여 하나의 벡터로 만들고, 여기에 timestep 임베딩을 더해 adaLN의 조건 벡터(위 그림의 “t + pooled text”)로 쓴다. 반면 토큰 단위 임베딩(CLIP의 penultimate hidden state + T5 토큰)은 Track B의 시퀀스가 되어 joint attention에 들어간다. 즉 “문장의 요약"은 modulation으로, “문장의 단어 하나하나"는 attention으로 들어가는 셈이다.

그리고 이게 정말 나은지도 재봤다. 같은 조건에서 vanilla DiT < UViT < cross-attention DiT(CrossDiT) < MM-DiT 순서였고, 논문은 “MM-DiT가 cross-attention과 vanilla 변형을 크게 앞선다"고 쓴다. 학습 목표는 DDPM 대신 rectified flow이고, 중간 timestep을 더 자주 뽑는 logit-normal 샘플링을 쓴다. 깊이 38(약 8B 파라미터)까지 키워도 validation loss가 포화 없이 계속 내려갔다.

Problems

뭔가 데이터가 엄청나게 커지게 되면, Joint Attention이 엄청나게 느려질 것 같은 예감.

Transformer Attention 연산은 $\mathcal{O}(N^2)$, 즉 데이터 길이의 제곱에 비례해 계산량이 늘어난다.
- 기존 방식은 Noise Token이 Text를 참고만 하니까, $\mathcal{O}(N^2)$ .
- MM-DiT는 전부 다 몰아넣고 Attention을 실행하니까, $\mathcal{O}((N_{text}+N_{image})^2)$
- 계산량이 매우매우 커진다.
Attention 계산에서 OOM 에러
Modality Imbalance하면 효율이 떨어진다.
ex. 텍스트 100개, 이미지 4만 개 → 이미지-이미지 간의 상호작용만 여러 개.

아직까지도 안 풀린 숙제로 남아 있다.

Flash Attention 같은 최적화 기술을 영끌해서 적용하거나,
3개의 블럭에서만 Joint Attention하고, 나머지는 분리해서 연산하는 등…

실제로 나온 절충안들

FLUX.1(Black Forest Labs, 2024)은 앞쪽에 두 트랙이 분리된 MM-DiT식 double-stream 블록을 두고, 뒤쪽은 두 시퀀스를 아예 하나로 합쳐 처리하는 single-stream 블록으로 바꿔 파라미터를 아낀다 — 위 2번 아이디어와 같은 방향이다.
오디오 쪽에서는 MMAudio(Cheng et al., 2024)가 비디오·텍스트·오디오 세 스트림을 joint attention으로 묶고, 비디오-오디오 프레임을 시간축에 맞춰 정렬한 위치 임베딩(aligned RoPE)을 얹어 동기화 문제를 푼다.
계산량 자체는 FlashAttention 계열이 메모리 병목을 크게 완화하지만 $\mathcal{O}(N^2)$ 자체가 사라지진 않는다. 그래서 latent를 더 압축하거나(패치 크기, VAE 다운샘플 비율), 윈도우/희소 attention을 섞는 연구가 이어진다.

참고 자료

P. Esser et al., Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, 2024 — MM-DiT 원 논문(Stable Diffusion 3).
W. Peebles, S. Xie, Scalable Diffusion Models with Transformers, ICCV 2023 — 출발점인 DiT.
H. K. Cheng et al., MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis, 2024 — 오디오에서의 multimodal joint attention.
black-forest-labs/flux — double/single-stream 블록 구현.

DiT (Diffusion Transformer) 정리

Mon, 06 Jul 2026 10:20:00 +0900

Diffusion의 백본을 U-Net에서 Transformer로 바꾼 DiT(Peebles & Xie, Scalable Diffusion Models with Transformers, ICCV 2023)를, 오디오 생성 관점에서 읽고 정리한 노트.

이전에 사용하던 U-Net 기반의 Diffusion은 이미지 생성 Task에서 많이 활용되어 왔다.

하지만, U-Net의 구조적인 한계 때문에, 시간 간격이 긴 데이터에 약하다.
즉, 앞의 데이터와 뒤의 데이터를 서로 연결할 수 있는 힘이 없다.

그래서 Transformer의 Attention 구조가 가진 Long-Term Dependency를 이용해 Transformer 기반의 Diffusion Method를 고안하게 되는데, 이것이 DiT라고 볼 수 있겠다.

Architecture

결국 Diffusion이 메인이라, Gaussian Noise에서 GT로 가는 방향을 예측하는 건 동일하다.

즉, DiT의 Block은 현재 Timestep에서 입력된 Noisy Latent를 어떤 방향으로 Denoise할 것인지를 구하는 게 목표다.

Patchify: latent를 토큰으로

Transformer는 토큰의 시퀀스를 먹으니, 먼저 latent를 잘라야 한다. $I\times I$ latent를 $p\times p$ 패치로 자르면 토큰 수는 $$T=(I/p)^2$$ . 논문은 $p\in\{2,4,8\}$ 을 실험했는데, $$p$$ 를 반으로 줄이면 토큰이 4배가 되고 Gflops도 최소 4배가 된다(파라미터 수는 거의 그대로). 그리고 그만큼 성능이 좋아진다 — 이것도 “계산량이 곧 성능"의 한 사례. 위치 정보는 ViT처럼 sine-cosine positional embedding으로 넣는다. 오디오라면 $I\times I$ 대신 (시간 × 주파수/채널) latent를 같은 식으로 자르면 된다.

블록 안에서 일어나는 일

AdaLN (Adaptive Layer Normalization)
- 먼저 시간 $$t$$ 를 주입받아, 각각의 토큰들에게 ‘얼마나 깎아야 하는지’를 전달한다.
Self-Attention
- 1에서 나온 정보들을 바탕으로, 각 토큰들은 자기 자신(Waveform) 안에서 패턴을 분석한다.
Cross-Attention
- 이때 외부의 Condition(Video/Text)이 들어와 Denoising을 위한 힌트를 제공하고, 소리 생성의 방향성이 생긴다.
MLP
- 최종적으로 “이 소리는 이 방향으로 이동해야 한다!“를 구하게 된다.

원 논문에서 가장 좋았던 adaLN-Zero 블록. 조건(t, c)은 attention이 아니라 LayerNorm의 scale/shift와 residual 앞의 gate로 들어간다.

조건을 넣는 네 가지 방법 — 그리고 승자

위 1~4번은 “cross-attention을 쓰는 DiT"의 그림이다(오디오/텍스트 조건 모델들이 실제로 이렇게 쓴다). 그런데 원 논문은 조건(timestep $$t$$ , class label $$c$$ )을 주입하는 방법을 네 가지 비교했다.

방식	어떻게	비용	결과
In-context	$$t$$ , $$c$$ 임베딩을 토큰 두 개로 시퀀스 앞에 붙임	거의 0	가장 나쁨
Cross-attention	조건 시퀀스에 대해 별도 cross-attn 층	약 +15% Gflops	중간
adaLN	조건 벡터에서 LayerNorm의 scale γ, shift β를 회귀	가장 적음	좋음
adaLN-Zero	adaLN + residual 직전의 dimension-wise gate α를 0으로 초기화	가장 적음	최고 (400K step에서 FID가 in-context의 거의 절반)

adaLN-Zero의 아이디어는 학습 초기에 각 블록이 항등함수(identity)에서 출발하게 만드는 것. 그래서 위 그림의 α가 “0으로 초기화"다. 정리하면 — 조건이 “짧은 벡터”(timestep, class, pooled text)라면 adaLN 계열이, 조건이 “긴 시퀀스”(문장 토큰, 비디오 프레임)라면 cross-attention이 자연스럽다. Stable Audio Open 같은 오디오 DiT가 텍스트 토큰은 cross-attention으로, timestep/타이밍 조건은 adaLN으로 넣는 이유가 여기 있다.

Commentary

찝찝한 부분이 있다.

현재 DiT에서는 Self-Attention에서 Waveform의 패턴을 분석한 다음,
부가적으로 Condition이 들어와 Denoising을 시행한다.

그 말인즉슨, Waveform이 주(主), Video/Text가 부(副)가 되는 형태라고 볼 수 있겠다.

이런 식으로 이미지/오디오가 메인, 텍스트가 보조가 되면 정보 불균형이 생기지 않을까?

이걸 Hierarchical하지 않고, Equal하게 다룰 수는 없을까?

→ 다음 노트: MM-DiT

참고 자료

W. Peebles, S. Xie, Scalable Diffusion Models with Transformers, ICCV 2023. 코드: facebookresearch/DiT.
P. Esser et al., Scaling Rectified Flow Transformers for High-Resolution Image Synthesis, 2024 (Stable Diffusion 3) — DiT를 두 모달리티 동등 구조로 확장한 MM-DiT.
Z. Evans et al., Stable Audio Open, 2024 — 오디오 latent 위에서 돌아가는 DiT의 실제 예 (T5 텍스트는 cross-attention, 타이밍 조건은 adaLN).

DAC (Descript Audio Codec) 정리

Mon, 06 Jul 2026 10:00:00 +0900

Descript Audio Codec: Neural Audio Codec (오디오를 작게 압축하고, 원본에 가까운 음질로 복원). 오디오 생성 모델들이 Latent를 만들 때 자주 쓰는 코덱이라 구조를 짧게 정리해 둔다. 논문은 Kumar et al., High-Fidelity Audio Compression with Improved RVQGAN (NeurIPS 2023). 숫자로 요약하면 44.1 kHz 오디오를 8 kbps, 약 90배 압축하면서 음성·음악·환경음을 모델 하나로 다룬다.

구조

Encoder: Waveform을 CNN에 태우기 → Continuous Latent Representation 생성
RVQ (Residual Vector Quantization)
- 연속적인 값을 Discrete한 Token으로 바꾸기 → Quantization
- 첫 번째 층: 전체적 뼈대만 잡아서 토큰화 → Residual이 크다
- 두 번째 ~ n번째 층: 이전 층의 오차(Residual)만 받아와서 Token화 → 반복…
- 오차가 0에 수렴 → 적은 Token으로 디테일한 소리 정보 저장.
Decoder: RVQ의 Discrete Token을 입력받아, Waveform으로 만들기
→ 훈련을 GAN으로 함. (그래서 이름이 RVQGAN)

RVQ 한 장 요약. 각 단계는 “남은 오차"만 양자화하므로, 뒤 코드북일수록 미세한 디테일을 담당한다.

구조적 특징

Fully Convolutional Network(FCN, 1차원 CNN)을 Encoder/Decoder에 사용
Snake Activation Function을 전 Layer에 사용 (주기가 있는 함수에 good)
Dilated Convolution으로 듬성듬성 넘어가서 Receptive Field 넓히기

Snake: $x+\frac{1}{\alpha}\sin^2(\alpha x)$ . 항등함수에 주기적인 굴곡이 들어가 있어서, ReLU로는 잘 못 배우는 주기 신호(= 소리)를 표현하기 좋다. 논문에서는 ReLU를 Snake로 바꾸는 것만으로 SI-SDR이 눈에 띄게 올랐다.

다음 이야기

→ Discrete Token을 생성하는 RVQ를 버리고, Continuous한 VAE를 쓰자 → DAC-VAE (Semantic-VAE)

참고 자료

R. Kumar, P. Seetharaman, A. Luebs, I. Kumar, K. Kumar, High-Fidelity Audio Compression with Improved RVQGAN, NeurIPS 2023. 코드/가중치: descriptinc/descript-audio-codec.
N. Zeghidour et al., SoundStream: An End-to-End Neural Audio Codec, 2021 — RVQ를 오디오 코덱에 처음 쓴 논문. A. Défossez et al., High Fidelity Neural Audio Compression (EnCodec), 2022 — DAC가 주로 비교하는 상대.
L. Ziyin, T. Hartwig, M. Ueda, Neural networks fail to learn periodic functions and how to fix it, NeurIPS 2020 — Snake activation의 출처. BigVGAN도 같은 활성함수를 쓴다.

인스타 릴스에서 본 방정식 x^(x+1) = 16, 끝까지 풀어보기

Thu, 09 Oct 2025 00:00:00 +0900

1. Motivation

문제의 릴스. “Can you solve this?”

인스타 릴스에서 누가 이런 문제를 올려놨다.
안 그래도 할 거 없어서 풀어볼까 하고 샤프로 끄적거려봤는데, 내가 가진 ‘상식’으로는 풀 수 없었다.

(x+1)\ln x=\ln 16

여기서 더 할 게 없다.
댓글을 봐도 ‘2’라고 하는 사람들과 ‘3’이라고 하는 사람들이 많았다.
넣어보면 딱 봐도 아닌데. ( $$2^3=8$$ , $$3^4=81$$ . 답은 2와 3 사이 어딘가에 있고, 둘 다 아니다.)

성격상 이런 거 못 참아서, 리서치(?)한 내용을 간략하게 올려본다.

2. Lambert’s W (Introduction)

사실 진짜 별거 아니다.
$$f(x)=xe^x$$ 이 함수의 역함수를 $$W(x)$$ 함수라고 표기하는 방식이다.

즉, $z=W(z)e^{W(z)}$ 를 만족하는 함수 $$W(z)$$ 를
Lambert W Function 이라고 부른다.
일종의 표기법을 만들어낸 것뿐이지, 뭔가 거창한 풀이에 대한 내용은 없다.

왼쪽: $$y=we^w$$ . 이 그래프를 옆으로 뒤집은 것이 $$W$$ 다. 오른쪽: 우리 문제에 해당하는 $$we^w+w$$ . 단조증가라 해가 딱 하나다.

위의 문제는 다음과 같이 적을 수 있다.
$(x+1)\ln x=\ln 16$
이때, $x=e^{\ln x}$ 이므로
$x\ln x+\ln x=\ln 16$
$e^{\ln x}\ln x+\ln x = \ln 16$

이제 $\ln x = w$ 라고 치환하면, 다음의 형태로 변형된다.

we^w+w=\ln 16

이는 아까 봤던 $$we^w=z$$ 꼴의 형태와 다르다.
그래서 좀 더 ‘일반화된’ 람베르트 W를 정의한다.

$$we^w+pw=z$$ 형태의 방정식의 해를 $$w=W_p(z)$$ 라고 정의하자.

그럼 위 식은 $$p=1$$ , $z=\ln 16$ 인 식이므로

x=e^{W_1(\ln 16)}

다음과 같이 표현할 수 있다.
근데 사실 우리는 그냥 기호를 쓴 것뿐이라, 여기에서 더 계산할 수는 없다. 값을 실제로 얻으려면 결국 수치적으로 풀어야 한다.

3. Newton-Raphson Method

인공지능을 배우면서 Gradient Descent와 같이 배운 게 기억난다.
방법은 단순하다.

어떤 그래프 위의 추측값에서 접선을 긋는다.
그 접선이 x축과 만나는 점을 다음 추측값으로 삼는다.
일정 횟수 동안 1과 2를 반복한다.

그림으로 보면 이게 전부다. 시작점을 일부러 멀리( $$x_0=1.9$$ ) 잡아도 세 번 만에 답 근처에 도착한다.

우리의 목표는 $x^{x+1}=16$ 의 해를 찾는 것이므로, 이는 $x^{x+1}-16=0$ 의 해를 찾는 것과 동치다.

함수 $f(x)=x^{x+1}-16$ 이라고 정의하자.
일단 1번(어떤 그래프 위의 추측값에서 접선 긋기) 과정에서 접선을 그어야 하니까, $$f(x)$$ 의 도함수 $$f'(x)$$ 를 구해야겠다.
고등학교 미적 시간에 배운 로그미분법을 활용하면 쉽게 미분이 가능하다.

$y=x^{x+1}$ 이면 $\ln y=(x+1)\ln x$ 이므로,

$\frac{y'}{y}=\ln x+(x+1)\frac{1}{x}$

$y'=y\left(\ln x+(x+1)\frac{1}{x}\right)=x^{x+1}\left(\ln x+1+\frac{1}{x}\right)$

즉 $f'(x)=x^{x+1}\left(\ln x+1+\frac{1}{x}\right)$ 가 된다.

이제 1번은 끝났으니, 2번을 보자.
2번에 따르면, 우리의 다음 추측값 $x_{n+1}$ 은 현재 추측값 $$x_n$$ 에 대한 식으로 나타낼 수 있겠다.

$$x_n$$ 에서 그은 접선이 $$x$$ 축과 만나는 곳이 $x_{n+1}$ 이므로,
접선과 $$x$$ 축이 이루는 각을 $\theta$ 라고 두면

\tan\theta = f'(x_n)=\frac{f(x_n)-0}{x_n-x_{n+1}}

이 식을 정리하면:

x_{n+1}=x_n-\frac{f(x_n)}{f'(x_n)}

다음과 같은 점화식을 얻을 수 있다. (이게 Newton-Raphson의 정수다.)

1번과 2번 알고리즘을 제대로 정의했으니, 이제 직접 구해보자.
사람들의 댓글로 보아 일단 해는 $$x=2$$ 와 $$x=3$$ 사이에 존재한다.
(너무나도 당연하게도. $$f(2)=-8<0$$ , $$f(3)=65>0$$ 이고 $$f$$ 는 연속이니, 중간값 정리에 의해 그 사이 어딘가에서 0을 지난다.)

한 2.3 정도로 시작해보자. $$x_0=2.3$$ .

f(2.3)=2.3^{3.3}-16\approx-0.3793

f'(2.3)=2.3^{3.3}\left(\ln 2.3+1+2.3^{-1}\right)\approx35.4230

x_1=2.3-\frac{-0.3793}{35.4230}\approx2.3107

처음 한 번 돌렸을 때의 결과는 2.3107이 나왔다.
$$f(2.3)$$ 이 음수였으니, 2.3보다는 조금 더 큰 쪽으로 움직인 셈이다.

귀찮으니 파이썬으로 후딱 계산을 때리면 다음과 같은 결과가 나온다.

import math

f = lambda x: x**(x+1) - 16
fp = lambda x: x**(x+1) * (math.log(x) + 1 + 1/x)

x = 2.3
for n in range(1, 5):
 x = x - f(x) / fp(x)
 print(n, round(x, 6))
# 1 2.310711
# 2 2.310572
# 3 2.310572
# 4 2.310572

$$x_1=2.31071$$
$$x_2=2.31057$$
$$x_3=2.31057$$

두 번 만에 소수점 다섯째 자리까지 딱 멈춰버린다. (Newton-Raphson은 해 근처에서 자릿수가 매 단계 두 배씩 늘어나는 ‘이차 수렴’을 한다.)
이로써 위 문제의 답은 $x\approx2.3106$ 이라고 근사할 수 있다.

Gradient Descent와 뭐가 다른가

둘 다 ‘기울기를 보고 다음 위치를 정한다’는 점은 같다. 하지만 GD는 손실 $$L$$ 을 최소화하려고 $-\eta L'(x)$ 만큼 조금씩 내려가고(학습률 $\eta$ 를 사람이 정한다), Newton은 $$f=0$$ 이 되는 점을 찾으려고 $$f/f'$$ 만큼 한 번에 뛴다(보폭을 접선이 알아서 정한다). GD를 최적화 문제 $$L'(x)=0$$ 에 Newton으로 풀면 $x_{n+1}=x_n-L'(x_n)/L''(x_n)$ 이 되는데, 이게 딥러닝에서 말하는 2차 최적화(Newton’s method for optimization)다. 이차 미분(Hessian)이 너무 비싸서 잘 안 쓸 뿐이다.

대신 Newton은 시작점을 잘못 잡으면(예: $f'(x_n)\approx0$ 인 곳) 엉뚱한 곳으로 튀거나 발산할 수 있다. 위 문제처럼 함수가 단조증가하고 볼록하면 아무 데서 시작해도 잘 간다.

4. Fixed-Point Iteration Method

전에는 미분과 도함수를 사용했다면, 이번에는 우리에게 주어진 방정식 자체를 변형시키는 방법을 써보자.

핵심은 이렇다.
우리에게 주어진 방정식은 $$f(x)=0$$ .
이 식을 어떤 방법이든 $$x=g(x)$$ 의 꼴로 변형시킨다.
만약 $$x=g(x)$$ 의 해를 찾을 수 있으면, 이 해 $$x^*$$ 를 ‘고정점 (Fixed Point)‘이라고 칭한다.
(즉, 이 고정점에서 $$g(x^*)$$ 의 값을 계산하면 자기 자신인 $$x^*$$ 가 나오는 것.)

이를 이용해 다음과 같은 과정을 거친다.

적절한 $$x_0$$ 에서 시작한다.
점화식 $x_{n+1}=g(x_n)$ 을 계속 반복한다.
2번 과정이 수렴하면, 이 수렴값은 고정점이며, 그 고정점은 우리가 찾는 해다.

여기에서 중요한 건, 변형시킨 $$g(x)$$ 의 형태다.
이 $$g(x)$$ 를 어떻게 만드느냐에 따라 이 방법이 성공하느냐 실패하느냐가 갈린다.

예를 들면, 엄청 간단하게 $x=\frac{16}{x^x}$ 라고 뒀다고 생각해보자.
그럼 점화식은 다음과 같다.

x_{n+1}=\frac{16}{x_n^{x_n}}

그러나 이 점화식을 계속 사용해보면, 값은 수렴하지 않고 발산해버린다. ( $2.3 \to 2.36 \to 2.13 \to 3.22 \to \cdots$ )
이유는 해 근처에서 $$|g'(x)|<1$$ 이라는 조건을 만족하지 않기 때문이다.
이를 축소사상원리(Contraction Mapping Principle) 라고 부른다.
(4.1에서 설명한다.)

이번엔 좀 더 적절한 방식으로 변형해보자.

x_{n+1}=e^{\frac{\ln 16}{x_n+1}}

아까와 같이 $$x_0=2.3$$ 에서 시작해보자.
$x_1\approx2.3168$
$x_2\approx2.3070$
$x_3\approx2.3127$
$x_4\approx2.3093$

뭔가 2.31 근처를 빙빙 도는 느낌이다.
(이렇게 위아래로 진동하며 수렴하는 것을 ‘나선형 수렴’이라고 부른다. Newton-Raphson보다 훨씬 느리지만, 계속 돌리면 결국 같은 값 2.3106으로 간다.)

고정점 반복을 그림으로 그리면 ‘거미줄(cobweb) 다이어그램’이 된다. $$x_n$$ 에서 위로 올라가 $$g$$ 를 만나고, 옆으로 가서 $$y=x$$ 를 만나면 그게 $x_{n+1}$ . 왼쪽은 $$g'$$ 의 기울기가 $$y=x$$ 보다 완만해서 안으로 말려 들어가고, 오른쪽은 가팔라서 튕겨 나간다.

즉, $x\approx2.31$ 로 근사할 수 있다.

import math
g = lambda x: math.exp(math.log(16) / (x + 1))
x = 2.3
for n in range(1, 8):
 x = g(x)
 print(n, round(x, 4))
# 1 2.3168 / 2 2.3070 / 3 2.3127 / 4 2.3093 / 5 2.3113 / 6 2.3101 / 7 2.3108

4.1. Contraction Mapping Principle

$$x=g(x)$$ 에서 왜 $$x^*$$ 를 구하는 조건이 $$|g'(x^*)|<1$$ 일까?

1. 먼저 직관적으로, 기하학적으로 분석해보자.

$$x=g(x)$$ 의 해가 $$x^*$$ 라는 것은 $$y=x$$ , $$y=g(x)$$ 의 교점의 $$x$$ 좌표가 $$x^*$$ 라는 뜻이기도 하다.

이때, $$|g'(x^*)|<1$$ 의 의미는 $$g(x)$$ 그래프의 $$x^*$$ 에서의 접선의 기울기가 1보다 작다는 뜻.
즉, $$y=x$$ 의 기울기보다 완만하다는 뜻.
그래서 점화식의 과정을 그래프로 나타내보면 점점 $$x^*$$ 와의 거리가 줄어드는 것이다.

반대로, $$|g'(x^*)|>1$$ 이면 $$y=x$$ 의 기울기보다 가파르게 되어서
점화식의 과정 그래프가 $$x^*$$ 에서 튕겨나가게 된다.
즉 발산하게 된다.

2. 직관에서 좀 더 나아가, 평균값 정리를 이용해 축소사상원리를 증명할 수 있다.

평균값 정리를 기억하는가?

어떤 그래프가 $$[a, b]$$ 에서 연속이고 $$(a, b)$$ 에서 미분가능하다면 $\frac{f(b)-f(a)}{b-a}=f'(c)$ 를 만족하는 $c \in (a,b)$ 가 적어도 하나 존재한다.

결국 미분가능한 함수에서, 그래프 위의 두 점을 이은 선(할선)과 평행한 접선이 반드시 존재한다는 정리다.

어떤 단계 $$n$$ 에서의 추측값 $$x_n$$ 과 $$x^*$$ 사이의 오차를
$$e_n=x_n-x^*$$ 라고 정의하자.
그럼 다음 단계의 오차 $e_{n+1}$ 은 다음과 같이 정의된다.

e_{n+1}=x_{n+1}-x^*=g(x_n)-g(x^*)

이때, 평균값 정리에 따라 $$x_n$$ 과 $$x^*$$ 사이의 어떤 점 $$c$$ 에 대해 다음이 성립한다.

\[g(x_n)-g(x^*)=g'(c)(x_n-x^*)\]

이를 위의 오차에 대입하면,

e_{n+1}=g'(c)\cdot e_n

마지막으로 위 식의 양변에 절댓값을 취하면

|e_{n+1}|=|g'(c)|\cdot |e_n|

이게 무슨 뜻이냐.
만약 $$|g'(x)|<1$$ 이라면, $$|g'(c)|$$ 는 1보다 작은 어떤 $$k$$ 가 된다.

|e_{n+1}| = k\cdot |e_n|

즉 위와 같은 관계가 되어 오차가 매 단계 $$k$$ 배씩 줄어든다.

숫자로 확인해보기

우리 $g(x)=e^{\ln 16/(x+1)}$ 의 도함수는 $g'(x)=-\frac{\ln 16}{(x+1)^2}\,g(x)$ 이고, 해 근처에서 $g'(x^*)\approx-0.58$ 이다. 절댓값이 1보다 작으니 수렴하고, 부호가 음수라서 매번 반대편으로 넘어간다 — 그래서 위에서 본 것처럼 2.3168, 2.3070, 2.3127, … 하고 위아래로 진동(나선형 수렴)한 것이다. 오차가 매 단계 약 0.58배씩만 줄어드니(선형 수렴), 자릿수가 매 단계 두 배가 되는 Newton과 속도 차이가 어마어마하다. 아래 그림이 그 차이다.

이 원리를 완비거리공간에서 일반화한 것이 바나흐 고정점 정리(Banach fixed-point theorem) 이고, 미분방정식 해의 존재성 증명(Picard 반복)부터 강화학습의 Bellman 연산자 수렴 증명까지 온갖 곳에서 같은 논리가 반복된다.

세 방법 모두 같은 답으로 가지만, 오차가 줄어드는 속도는 전혀 다르다. 로그 축에서 직선이면 선형 수렴, 아래로 꺾여 떨어지면 이차 수렴.

5. Conclusion

Desmos로 그려본 $y=x^{x+1}$ 과 $$y=16$$ 의 교점. $x\approx2.31057$ .

방법	필요한 것	반복 몇 번에 소수 5자리?	한 줄 요약
Lambert W ( $$W_1$$ )	표기법	— (닫힌 식은 나오지만 계산은 못 함)	답의 ‘이름’을 붙여줌
Newton-Raphson	$$f$$ , $$f'$$	2번	접선의 $$x$$ 절편으로 점프, 이차 수렴
고정점 반복	잘 고른 $$g$$	약 15번	축소사상이면 수렴, 선형 수렴
이분법	부호가 바뀌는 구간	약 18번	느리지만 절대 안 망함

Newton-Raphson도, 고정점 반복도, Desmos도 전부 같은 곳( $x\approx2.3106$ )을 가리킨다.
모르는 걸 알게 되어서 기분은 좋았다.
근데 내 두 시간은 어디 갔지?

참고 자료

Lambert W function — Wikipedia: 가지 구조, 급수 전개, 어디에 쓰이는지 총정리.
István Mező, Árpád Baricz, On the generalization of the Lambert W function, Trans. Amer. Math. Soc. 369 (2017). $$xe^x+rx=a$$ 의 해 $$W_r(a)$$ — 이 글의 $$W_p$$ 가 정확히 이것.
Newton’s method — Wikipedia, Fixed-point iteration — Wikipedia, Banach fixed-point theorem — Wikipedia.
scipy.special.lambertw: 표준 Lambert W를 파이썬에서 바로 계산할 때. ( $$x^x=a$$ 같은 문제는 $x=\ln a/W(\ln a)$ 로 닫힌 식이 나온다.)

선형대수학 1강. 벡터 공간

Thu, 17 Jul 2025 00:00:00 +0900

벡터

벡터란 크기(Magnitude)와 방향(Direction)이 정의된 값을 말합니다.

ex. 왼쪽(Direction)으로 2만큼(Magnitude) 움직였다 = 벡터

모든 벡터는 다음 두 성질을 지닙니다.

1. 벡터의 합 (Vector Addition)

\vec{z} = \vec{x} + \vec{y}

벡터끼리 서로 더할 수 있으며, 주로 평행사변형을 그려 계산합니다.

2. 스칼라와 벡터의 곱 (Scalar Multiplication)

t\vec{a}=t\cdot \vec{a}

벡터는 스칼라와 곱해질 수 있습니다. 이 때, $$t$$ 가 음수이면 벡터의 방향이 반대가 됩니다.

벡터(선형) 공간

정의: 장 $$F$$ 위의 공간 $$V$$ 가 다음과 같은 성질을 만족할 때, 이를 벡터 공간이라고 합니다.

$$V$$ 안의 임의의 원소 $\vec{x}$ , $\vec{y}$ 가 $\vec{x} + \vec{y}$ 가 $$V$$ 안에 존재한다.
$$V$$ 안의 임의의 원소 $\vec{x}$ 와 $$F$$ 안의 임의의 원소 $$t$$ 에 대해 $t\vec{x}$ 가 $$V$$ 안에 존재한다.

(위에서 본 벡터의 두가지 성질과 일치합니다.)

즉, 우리는 이렇게 다시 말할 수 있습니다.

벡터 공간이란, 벡터합과 스칼라곱에 대해 닫혀있는 (Closed) 모든 집합을 말한다.

Q. ‘닫혀있다 (Closed)‘라는건 무슨 뜻일까요?
A. 어떤 집합에서 임의의 원소를 이용해 계산을 했을 때, 그 계산 결과가 집합 안에 포함되어 있을 때, 이를 ‘닫혀있다’ 라고 표현합니다.
ex. $\mathbb{R}$ : 실수 전체의 집합이라고 했을 때 모든 $a, b \in \mathbb{R}$ 에 대해 $a+b \in \mathbb{R}$ , 즉 두 수를 더했을 때 그 결과를 $\mathbb{R}$ 안에서 찾을 수 있습니다.
이 때, 공간 $\mathbb{R}$ 은 $$a+b$$ 연산(덧셈)에 대해 닫혀있다 라고 합니다.

벡터 공간에는 다음과 같은 성질이 존재합니다. (복잡해보이지만 매우 간단하고 자명합니다.)

모든 $x, y \in V$ 에 대해 $$x+y = y+x$$ . (덧셈의 교환법칙)
모든 $x, y, z \in V$ 에 대해 $$(x+y)+z = x+(y+z)$$ . (덧셈의 결합법칙)
$x+\mathbb{0}=x$ 를 만족하는 $\mathbb{0}$ 이 $$V$$ 에 존재. (원소 0)
모든 $x \in V$ 에 대해 $x+y = \mathbb{0}$ 을 만족하는 $$y$$ 가 $$V$$ 에 존재. (음수인 원소)
모든 $x\in V$ 에 대해 $$1x=x$$ . (1과의 곱셈)
모든 $a, b \in F$ 와 $x \in V$ 에 대해 $$(ab)x=a(bx)$$ . (곱셈의 결합법칙)
모든 $a \in F$ 와 $x, y\in V$ 에 대해 $$a(x+y) = ax + ay$$ . (스칼라의 분배법칙)
모든 $a, b \in F$ 와 $x \in V$ 에 대해 $$(a+b)x = ax + bx$$ . (벡터의 분배법칙)

Q. 장 $$F$$ 란 무엇인가요?
A. 수학에서 $$F$$ (Field)란, 연산 가능한 모든 수의 집합을 말합니다. $\mathbb{R}$ 라고 생각하셔도 괜찮습니다.
부가설명: $$F$$ 는 ‘모든 스칼라들의 세계’라고 표현할 수 있습니다.
ex. $\mathbb{R} \in F$ , $\mathbb{C}\in F$ (복소수), $\mathbb{F}_{p}\in F$ (유한체)

벡터 공간의 예시

지금부터는 대표적인 벡터 공간들과 그 특징들에 대해 알아보겠습니다.

사실상 제일 중요한 부분이며, 우리의 목표는
‘대부분의 문제는 벡터 공간으로 표현 가능하다’
는 것을 이해하는 것입니다.

n-tuples (n-튜플)

n-tuple이란, n개의 실수가 모여있는 집합을 말합니다.

\mathbb{R}^n = \{x_1,x_2, \dots,x_n\}

이 때, n-tuple은 벡터 공간입니다.

Proof:

$(x_1, \dots, x_n) + (y_1, \dots, y_n) = (x_1+y_1, \dots , x_n+y_n)$
$c(x_1, \dots, x_n) = (cx_1, \dots, cx_n)$
즉, 덧셈과 스칼라곱에 대해 닫혀있습니다.

우리는 선형대수학을 배우면서 이 n-tuples에 대한 계산을 많이 다루게 될 것입니다.

특히, 이 n-tuples들은 모든 원소를 가로로 적은 Column Vector의 형태로 표현합니다.

\mathbb{R}^n=(x_1, x_2, \dots,x_n)^T

복소수집합 (Complex Numbers)

모든 복소수 $$a+bi$$ 가 모인 집합 $\mathbb{C}$ 은 벡터공간입니다.

Proof:
1. $$(a+bi) + (c+di) = (a+c) + (b+d)i$$
2. $$t(a+bi) = at+bti$$
즉, 덧셈과 스칼라곱에 대해 닫혀있습니다.

여기서 중요한 것은, $\mathbb{C}$ 는 특히 $\mathbb{R}^2$ 위의 벡터 공간이라는 점입니다.

즉, 모든 복소수는 벡터의 형태로 표현할 수 있습니다.
복소평면(Argand Plane) 은 이 특징에서 시작됩니다.

다항식 (Polynomials)

1. 최고차가 n차인 다항식

$$x$$ 를 변수로 가지는, 최고차가 n차인 다항식의 집합을 $P_n(\mathbb{R})$ 이라고 정의합시다. 즉,

P_n({\mathbb{R}}) = a_nx^n+a_{n-1}x^{n-1}+\dots+a_1x+a_0

이 때, $P_n(\mathbb{R})$ 은 벡터공간입니다. 즉, 덧셈과 스칼라곱에 대해 닫혀있습니다.
(증명은 생략하겠습니다. 직접 해보시기 바랍니다.)

여기서 중요한 점은, $P_n(\mathbb{R})$ 는 $\mathbb{R}^{n+1}$ 과 동형(Isomorphic) 이라는 것입니다.

즉, 모든 n차 다항식은 (n+1)차원 벡터라고 생각해도 된다는 뜻입니다.

(선형대수의 꽃인 행렬을 소개할 때 연립방정식이 나오는 이유가 이 곳에 있습니다.)

Q. 동형(Isomorphic)이 무엇인가요?
A. 쉽게 설명하자면, 서로 같은(동) 형태(형)를 가진다는 뜻입니다.
정확한 정의를 보면 이러합니다:
어떤 벡터공간 $$V$$ , $$W$$ 가 서로 일대일대응이며, 덧셈과 스칼라곱에 대해 닫혀있는 선형변환이 두 공간 사이에 존재할 때, 이 두 공간이 서로 ‘동형’이라고 말합니다.
즉, $v \in V$ , $w \in W$ , $c\in \mathbb{R}$ 에 대해:
1. $$f(v+w)=f(v)+f(w)$$ , $$f(cu)=cf(u)$$ (Linear)
2. 서로 Bijection (Surjective + Injective)가 성립
다음 두 조건이 성립하면 $$V$$ 와 $$W$$ 는 동형입니다.

2. (차수의 상관 없이) 모든 형태의 다항식

최고차에 상관없이 모든 다항식 종류의 집합을 $P(\mathbb{R})$ 라고 정의합시다. 즉,

P(\mathbb{R})=\bigcup\limits_{n=0}^{\infty}P_n(\mathbb{R})

이 때, $P(\mathbb{R})$ 은 벡터공간입니다.

(물론 $P_n(\mathbb{R})$ 보다는 사이즈가 훨씬 큰, 무한한 벡터공간(차수가 무한대일 수 있으므로)입니다.)

함수

위에서는 함수의 굉장히 작은 예시에 불과한 다항식이 벡터공간임을 보였습니다.

이제는 더욱 더 넓은, $x+\text{sin}(x)$ 같은 모든 함수를 기준으로 벡터공간인지 확인해봅시다.

1. 모든 연속함수의 집합

모든 연속함수가 모인 집합을 $C(\mathbb{R})$ 라고 정의합시다. 이 때, 이 집합은 벡터공간입니다.

(증명: 일반화로 증명하는 것은 어렵기에, $x+\text{sin}(x)$ 와 같은 예시로 확인해보는 것을 추천드립니다.)

이 또한 $P(\mathbb{R})$ 와 마찬가지로 무한한 벡터공간입니다. (하지만 크기는 더욱 더 큽니다)

이를 셀 수 있는 무한함 (Countably Infinite) 이라고 표현합니다.

2. 정의역이 정의된 모든 연속함수의 집합

모든 연속함수의 집합은 벡터공간이므로, 정의역이 특수하게 정의된 연속함수들은 어떨까요?

예를 들어, $$y=x$$ 와 $$y=|x|$$ 는 엄연히 다른 함수입니다. 그러나 두 함수의 정의역이 $0 \lt x \lt 1$ 라면, 두 함수는 완전히 동일해집니다.

정의역이 $a \lt x \lt b$ 으로 주어진 모든 연속함수의 집합을 $$C([a, b])$$ 라고 표현합시다.

이 때, $$C([a, b])$$ 는 벡터공간입니다.

3. 모든 함수의 집합

2번을 통해 우리는 모든 함수 (연속이든 아니든)를 정의할 수 있습니다.

모든 함수들의 집합을 $\mathcal{F}(\mathbb{R}, \mathbb{R})$ 라고 정의합시다.

이 집합은 이런 이상한 함수도 들어갈 수 있습니다.

f(x) = 1 \text{ if }x\in\mathbb{Q}\text{, 0 if }x\notin\mathbb{Q}

나만의 블로그 만들기 1. HUGO와 친해지기

Wed, 16 Jul 2025 00:00:00 +0900

Preparation

이 블로그 포스트는 다음 패키지를 설치되었다는 가정 하에 작성되었습니다.

Git (2.50.0)
Go (1.24.5)

(MacOS에서는 homebrew를 통해 쉽게 설치가 가능합니다.)

HUGO 소개

HUGO 메인 페이지

.md 파일을 자동으로 .html로 만드는 것은 굉장히 힘든 작업입니다. 이 작업을 쉽게 만들기 위해 우리는 정적 웹사이트 생성기 중 하나인 HUGO를 사용합니다.

HUGO는 .md 포스트들을 .html로 변환하는 일 뿐만 아니라 다양한 블로그 테마를 쉽게 다운로드하여 수정할 수 있게 합니다. 또한 블로그의 Deploy나 기타 작업이 굉장히 빠르고 단순하여 프로그래밍을 모르는 사람들도 나만의 블로그를 쉽게 만들 수 있습니다.

Installation

Hugo를 직접 다운로드 해봅시다.

1. Windows

(Youtube 참고)

2. MacOS

brew install hugo

homebrew 패키지 매니저를 이용해 다운로드 받습니다.

3. Linux

sudo apt install hugo # Debian
sudo pacman install hugo # Arch

사용하는 Distro의 패키지 매니저를 이용해 다운로드 받습니다.

(Linux를 사용하신다면 더 이상의 설명은 필요 없으리라 생각합니다.)

Create Blog Folder

진행하기 전, HUGO가 제대로 설치되었는지 확인해봅시다.

hugo version # 버전명이 나오면 정상적으로 설치됨.

이제 우리가 블로그 포스트 등을 저장할 폴더로 shell을 이동해줍니다.

# 저는 macos를 사용중이며, 저장하기 쉽게 Desktop에 파일을 저장해두었습니다.
cd ~/Desktop

이제 HUGO를 이용해 블로그 웹사이트를 만들어봅시다.

# hugo new site [블로그 이름]
hugo new site dirac042

블로그가 생성되었습니다! 이제 파일이 어떤 구조로 이루어져 있는지 확인해봅시다.

cd dirac042 # 방금 생성한 블로그 이름
ls

Blog Folders

필자의 블로그 폴더

생성된 블로그 폴더의 역할을 간략하게 알아봅시다.

archetypes: 마크다운 타입의 문서에서 읽어오는 기본 틀에 대한 정의파일이 있습니다.
content: 제일 중요한 파일이며, 여러분들이 obsidian으로 만드는 문서들이 이 곳으로 .md 형태로 들어갑니다.
public: 웹사이트의 중요한 파일들이 이곳에 들어갑니다.
static: obsidian에서 첨부된 이미지들이 이곳으로 들어갑니다.
themes: hugo에서 설치한 테마들이 이곳으로 들어갑니다.

Git Init

블로그의 테마를 설치하기 전에, git의 initialization을 해줘야합니다.

git init

(이 블로그 포스트는 여러분들이 이미 git의 설정을 완료했다는 가정하에 서술됩니다. 만약 여러분이 git 사용이 처음이시라면, git 사용법을 읽고 따라해 보시는 것을 권장드립니다.)

!주의: 이 커맨드는 현재 shell이 블로그 폴더 안에 들어가있어야 합니다!

pwd # 현재 shell 위치 확인
# ex. ~/Desktop/dirac042

Installing HUGO Themes

HUGO Themes 웹사이트

HUGO Themes에서는 유저들이 HUGO로 만든 다양한 웹사이트 테마를 제공합니다.
이 곳에서 마음에 드는 테마를 다운로드 받으면 곧바로 내 블로그에서 사용할 수 있습니다.

마음에 드는 테마를 발견했다면 download 아이콘을 눌러봅시다.
대부분의 모드는 github submodule을 이용한 설치를 지원합니다.

# 예시 테마: Papermod
git submodule add --depth=1 https://github.com/adityatelange/hugo-PaperMod.git themes/PaperMod

이렇게 submodule을 이용하면, 테마 제작자가 업데이트를 진행할 때, 쉽게 커맨드 하나로 업데이트 시켜줄 수 있습니다.

git submodule update --init --recursive

Deploy

HUGO와 테마까지 모두 받았으면, 이제 테스트를 위해 한번 Deploy를 시켜봅시다.
shell이 블로그 폴더에 있는 상태에서 다음의 명령어를 사용하면 됩니다.

hugo server

그러면 굉장히 빠른 속도로 localhost에서 로컬파일을 이용해 블로그가 만들어집니다.
기본적으로 1313포트에서 생성되므로, http://localhost:1313 에 들어가 자신의 블로그를 확인해보도록 합시다.

필자의 블로그 구동 화면 (localhost)

이런 식으로 테마와 블로그가 제대로 나온다면, 축하드립니다!
여러분만의 블로그가 성공적으로 제작되었습니다.

나만의 블로그 만들기 0. 내가 블로그를 만드는 이유

Wed, 16 Jul 2025 00:00:00 +0900

Motivation

Second Brain

혹시 Tiago Forte의 Second Brain이라는 책을 읽어본 적이 있나요?

티아고 포르테의 <세컨드 브레인>

한국에서는 <세컨드 브레인>이라는 제목으로 번역되었습니다. 사실 한국보다는 미국권에서 굉장히 유명한 책입니다. 지식, 공부 관련 유튜버가 소개하는 내용들이 거의 모두 이 책에서 왔다고 해도 과언이 아닐 것입니다. 그 정도로 정보 정리에 있어서는 거의 ‘바이블’이라고 불릴 정도로 유명하고 유용한 책입니다.

이 책에서 나오는 ‘제 2의 뇌’를 만드는 방법으로 저자는 4단계의 방식을 소개합니다.

Capture: 내가 중요하다고 생각되는 것을 적기
Organize: 적은 메모들을 정리하기
Distill: 메모들에서 중요한 정보(Essence)를 찾기
Express: 이해한 정보들을 설명하며 창조하기

이 4가지 단계 중에서 1단계 ~ 3단계는 책을 읽기 전에도 실천하고 있었습니다. 특히 저는 Obsidian(옵시디언)이라는 앱에 흥미를 느끼게 되었고, 내가 생각하고 느낀 모든 것들은 이 프로그램을 통해 관리되고 있습니다. (추후에 옵시디언 사용법과 관련해 블로그 포스트를 적어볼 예정입니다.)

Capture: 살면서 갑자기 떠오르는 아이디어나, 대화를 통해 얻은 지식들은 노트와 연필로 직접 적는다.
Organize: 노트에 적은 것들을 Obsidian으로 옮긴다. 만들어진 문서는 카테고리화 되어 정리된다.
Distill: 옵시디언에 정리된 것들을 읽어보며 위에 Summary 칸을 만들어 미래의 내가 한눈에 볼 수 있도록 요약한다.

필자의 Obsidian 작업 환경. 포스트를 적을 때에는 왼쪽과 오른쪽 툴바를 넣고 쓴다.

Express

그러나 4가지 단계 중 네번째 단계가 빠져있습니다.

실제로 블로그 포스트를 이용해 공부나 내가 생각했던 것을 적어보자고 학창시절 수차례 생각해보았지만, 시도들은 전부 귀찮아서 그만두게 되었습니다.

그러한 이유를 생각해보자면 이 정도가 있겠습니다.

블로그 포스트를 적는 것은 생각보다 시간이 오래 걸린다.
블로그 사이트를 만드는 것은 어렵고 상당히 귀찮다.

그러다가 지금(2025년 7월 16일)에서야 블로그를 만들어야겠다는 생각이 들었고, 블로그를 적으면서 내가 더 성장할 수 있을 것 같다는 확신이 들었습니다. 블로그를 만들기 위해 많은 조사를 했고 그 과정에서 수많은 에러들을 만나며 고군분투한 결과, 만족할만한 웹사이트를 직접 제작할 수 있었습니다.

여러분들은 조금 더 쉽게, 버그가 적은 환경에서 블로그를 만들 수 있도록 이 포스트를 적어봅니다.

Blog Pipeline

이 포스트를 시작으로 이어지는 ‘나만의 블로그 만들기’ 시리즈는 저처럼 Obsidian을 주로 사용하는 사람들이 간단하게 블로그를 관리할 수 있는 시스템을 만드는 것을 목표로 합니다.

코딩을 한번도 배워보지 않은 사람도 따라할 수 있도록 최대한 쉽게 포스트를 적어보려고 노력해보겠습니다.

블로그 시스템 개요도

우리가 구현할 시스템의 개요도는 이러합니다.

Obsidian에 노트 형식으로 저장.

모든 Obsidian 노트는 마크다운(.md) 형식으로 저장됩니다. 그러나 우리가 이 마크다운을 곧바로 블로그에 사용할 수는 없습니다. 마크다운을 마크업(.html) 언어로 바꿔야하기 때문입니다.

블로그에 .html 형식으로 포스트 작성

그러므로 우리는 HUGO라는 프로그램을 사용해 블로그의 토대를 만들고 마크다운 파일을 쉽게 변환해볼 것입니다. 설치 과정도 다소 단순하고 굉장히 미학적인 블로그를 만들 수 있을 것입니다.

Github Pages를 이용해 블로그에 실시간 업로드

믈론 각자만의 도메인을 구매하여 사용하고 있는 사람들은 이 단계가 필요하지 않습니다. 그러나 도메인이 없는 우리도 Github 계정을 이용해 자신만의 블로그 도메인을 만들 수 있습니다. HUGO로 만들어진 블로그를 어떻게 Github Pages와 연동시켜 모든 사람이 볼 수 있도록 할 수 있을지 알아봅시다.

Disclaimer

‘나만의 블로그 만들기’ 포스트는 대부분 NetworkChunk의 ‘I started a blog…..in 2024 (why you should do)’에서 만들어진 것임을 밝힙니다.

그러나 코드를 그대로 사용하지는 않았으며, branch 구현 등 코드의 일부분을 수정하여 소개하려고 합니다.

이 블로그의 포스트보다 더 자세한 설명을 원한다면 꼭 이 유튜브 링크를 통해 더 알아보기를 권합니다.

방식	어떻게	비용	결과
In-context	$\(t\)$ , $\(c\)$ 임베딩을 토큰 두 개로 시퀀스 앞에 붙임	거의 0	가장 나쁨
Cross-attention	조건 시퀀스에 대해 별도 cross-attn 층	약 +15% Gflops	중간
adaLN	조건 벡터에서 LayerNorm의 scale γ, shift β를 회귀	가장 적음	좋음
adaLN-Zero	adaLN + residual 직전의 dimension-wise gate α를 0으로 초기화	가장 적음	최고 (400K step에서 FID가 in-context의 거의 절반)

방법	필요한 것	반복 몇 번에 소수 5자리?	한 줄 요약
Lambert W ( $\(W_1\)$ )	표기법	— (닫힌 식은 나오지만 계산은 못 함)	답의 ‘이름’을 붙여줌
Newton-Raphson	$\(f\)$ , $\(f'\)$	2번	접선의 $\(x\)$ 절편으로 점프, 이차 수렴
고정점 반복	잘 고른 $\(g\)$	약 15번	축소사상이면 수렴, 선형 수렴
이분법	부호가 바뀌는 구간	약 18번	느리지만 절대 안 망함