[논문 리뷰] Generative Adversarial Networks (GAN)
- 논문: Generative Adversarial Networks
- 저자: Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron Courville, Yoshua Bengio (Université de Montréal)
- 학회: NeurIPS (NIPS) 2014
한 줄 요약
생성자(Generator)와 판별자(Discriminator) 두 신경망을 min-max 게임으로 서로 경쟁시켜서, 명시적으로 우도(likelihood)를 계산하거나 근사 추론을 하지 않고도 데이터 분포를 흉내 내는 샘플을 만들어내는 프레임워크. 이후 DCGAN, WGAN, CycleGAN, StyleGAN 등 거대한 생성모델 계열의 출발점이 되었다.
배경
이 논문 이전의 딥러닝 기반 생성모델은 대부분 명시적으로 확률분포를 모델링하려 했다.
- Deep Boltzmann Machine 같은 모델은 분배함수(partition function)가 intractable해서 MCMC 기반 근사가 필요했고, 학습이 느리고 불안정했다.
- VAE는 이 문제를 variational lower bound(ELBO)로 우회했지만, 여전히 사후분포를 근사하는 encoder가 필요하고, ELBO를 직접 최적화하다 보니 생성 샘플이 흐릿(blurry)해지는 경향이 있었다.
- 두 접근 모두 “얼마나 그럴듯한 데이터를 생성했는가”를 명시적 확률(우도)로 채점하려는 시도였고, 그 채점 자체가 계산적으로 비싸거나 근사 오차를 동반했다.
GAN은 이 채점 문제 자체를 없애버린다. 데이터가 그럴듯한지 아닌지를 우도 대신 또 다른 신경망(판별자)이 직접 분류하게 만들고, 생성자는 그 판별자를 속이는 방향으로만 학습한다. 즉 “얼마나 진짜 같은가”를 확률식으로 풀지 않고 이진 분류 문제로 치환한 것이다.
제안 방법
Minimax 게임
생성자 $G$는 노이즈 $z \sim p_z(z)$를 받아 데이터 공간의 샘플 $G(z)$를 만든다. 판별자 $D$는 입력이 실제 데이터인지 $G$가 만든 가짜인지 확률을 출력한다. 둘은 다음 값함수(value function)에 대해 반대 목표로 경쟁한다.
\[\min_G \max_D V(D, G) = \mathbb{E}_{x \sim p_{data}(x)}[\log D(x)] + \mathbb{E}_{z \sim p_z(z)}[\log(1 - D(G(z)))]\]- $D$는 진짜 $x$에는 $D(x) \to 1$, 가짜 $G(z)$에는 $D(G(z)) \to 0$이 되도록 이 값을 최대화한다 (제대로 구분하는 이진 분류기).
- $G$는 $D$가 가짜를 진짜로 착각하도록, 즉 $D(G(z)) \to 1$이 되도록 이 값을 최소화한다.
두 네트워크는 서로의 손실에 직접 개입하는 상대이므로, 지도학습처럼 고정된 타겟에 수렴하는 게 아니라 두 플레이어가 동시에 움직이는 게임의 내시 균형(Nash equilibrium)을 찾는 문제가 된다.
이론적 최적점: Jensen-Shannon Divergence
$G$를 고정했을 때 $V(D,G)$를 최대화하는 최적 판별자는 닫힌 형태로 구해진다.
\[D^*_G(x) = \frac{p_{data}(x)}{p_{data}(x) + p_g(x)}\]이 $D^*G$를 다시 대입하면, $G$의 목표는 결국 $p{data}$와 생성분포 $p_g$ 사이의 Jensen-Shannon divergence를 최소화하는 것과 동치임을 논문이 증명한다.
\[C(G) = -\log 4 + 2 \cdot JSD(p_{data} \,\|\, p_g)\]$JSD \geq 0$이고 $p_g = p_{data}$일 때만 $0$이 되므로, 전역 최적해는 정확히 생성분포가 실제 데이터 분포와 일치하는 지점($p_g = p_{data}$)이며, 이때 $D^*(x) = \tfrac{1}{2}$ (판별자가 진짜/가짜를 구분 못 하는 상태)로 수렴한다.
학습이 실제로는 잘 안 되는 이유와 트릭
이론상으로는 $G$가 $\log(1-D(G(z)))$를 최소화하면 되지만, 학습 초반에는 $G$가 형편없어서 $D$가 가짜를 아주 쉽게 구분한다($D(G(z)) \approx 0$). 이 구간에서 $\log(1-D(G(z)))$는 기울기(gradient)가 거의 0으로 saturate되어 $G$가 학습 신호를 거의 못 받는다.
논문은 이를 해결하기 위해 $G$의 목적함수를 동일한 고정점을 갖지만 기울기가 훨씬 강한 형태로 바꿔서 사용한다.
\[\max_G \ \mathbb{E}_{z \sim p_z(z)}[\log D(G(z))]\]즉 “$D$가 틀리게 만들 확률을 낮춘다”가 아니라 “$D$가 진짜라고 판단할 확률을 높인다”로 바꾸는 것인데, 수학적 목표는 같지만 초반 학습 구간에서 훨씬 큰 gradient를 준다.
학습 절차
$D$와 $G$를 번갈아 업데이트한다.
- $D$를 $k$ 스텝 동안 SGD로 업데이트 (실제 데이터 배치와 $G$가 만든 가짜 배치로 이진 분류 학습)
- $G$를 1 스텝 업데이트 ($D$를 속이는 방향)
- 반복
논문은 이론적으로는 $D$를 매 스텝 최적점까지 학습시켜야 안정적이라고 말하지만, 실험에서는 계산 비용과 오버피팅을 고려해 $k=1$을 사용했다.
실험 결과
- MNIST, TFD(Toronto Face Database), CIFAR-10에서 생성 샘플을 정성적으로 제시.
- 정량 평가는 Parzen window 기반 로그우도 추정치를 사용 (GAN 자체가 명시적 우도를 안 주기 때문에 간접적으로 추정할 수밖에 없었음).
- Generator/Discriminator 모두 단순한 MLP로 구성 (지금 기준으로는 아주 작은 모델) — CNN 기반 구조는 이후 DCGAN(2015)에서 도입된다.
느낀 점
- “판별자가 못 속이면 생성자가 이긴 것”이라는 프레이밍이 단순하지만, 명시적 밀도 추정이나 근사 추론 없이 샘플링만으로 학습이 된다는 게 이 논문의 진짜 임팩트다. VAE가 ELBO라는 확실한 하한을 최적화하는 것과 대비된다.
- 반면 이 논문에서 이미 나중 GAN 연구 전체를 관통하는 문제들의 씨앗이 보인다. 이론은 $G, D$가 무한한 capacity를 가질 때만 JSD 수렴이 보장되는데, 실제로는 유한한 신경망 파라미터화에서 이 논-convex 게임이 진동하거나 mode collapse(생성자가 데이터 분포의 일부 mode만 만드는 현상)에 빠지기 쉽다.
- $JSD$가 두 분포의 support가 겹치지 않을 때(고차원 데이터에서 흔함) 사실상 상수라 gradient가 사라진다는 점은, 이후 Wasserstein distance를 쓰는 WGAN 계열이 정확히 파고든 지점이다.
- VAE 리뷰에서 “흐릿한 샘플”을 한계로 적었는데, GAN은 반대로 선명한 샘플은 잘 뽑지만 학습 안정성과 분포 커버리지(diversity)를 잃는 쪽으로 트레이드오프가 이동한 셈 — 두 논문을 나란히 보니 생성모델 역사가 이 트레이드오프를 왔다갔다하며 발전해온 게 보인다.