[논문 리뷰] DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
- 논문: DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
- 저자: DeepSeek-AI
- 발표: arXiv 2025 (이후 Nature 2025 게재)
한 줄 요약
사람이 쓴 풀이 데이터로 지도학습(SFT)을 하지 않고, 정답 여부와 형식만 확인하는 규칙 기반 보상과 GRPO만으로 강화학습을 했더니 모델이 스스로 길게 생각하고, 검산하고, 다시 시도하는 추론 능력을 갖게 됐다는 것을 보인 논문(R1-Zero). 여기에 소량의 시작 데이터와 여러 단계의 학습을 더해 읽기 좋고 범용적인 추론 모델 DeepSeek-R1을 만들고, 그 추론 능력을 작은 모델로 증류했다.
배경
OpenAI o1은 추론 시간에 사고 과정을 길게 늘리면 수학·코드 성능이 크게 오른다는 것을 보였지만, 어떻게 학습했는지는 공개되지 않았다. 공개된 연구들은 단계별 보상 모델(process reward model), 몬테카를로 트리 탐색(MCTS), 대량의 풀이 데이터 지도학습 등을 시도했지만 o1 수준에는 미치지 못했다.
이 논문은 가장 단순한 질문에서 출발한다. 사람의 풀이 예시 없이, 강화학습만으로 추론 능력이 생길 수 있을까?
제안 방법
DeepSeek-R1-Zero: 순수 강화학습
DeepSeek-V3-Base에 지도학습 없이 바로 GRPO를 적용한다. 보상은 신경망 보상 모델 없이 규칙으로만 준다.
- 정확도 보상: 수학은 정해진 형식의 최종 답이 정답과 일치하는지, 코드는 테스트 케이스를 통과하는지 확인한다.
- 형식 보상: 사고 과정을
<think>와</think>사이에 쓰도록 한다.
신경망 보상 모델을 쓰지 않은 이유는 대규모 강화학습에서 모델이 보상 모델의 허점을 파고드는 reward hacking을 피하기 위해서다. 프롬프트 템플릿도 “먼저 생각하고 답하라”는 구조만 정하고, 어떻게 생각해야 하는지는 지시하지 않는다.
학습이 진행되면서 다음과 같은 현상이 나타났다.
- 답변 길이가 저절로 늘어난다. 누가 시키지 않았는데도 모델이 문제를 풀 때 수백~수천 토큰씩 생각하는 쪽으로 바뀐다.
- 검산과 재시도 같은 행동이 생긴다. 중간에 “잠깐, 다시 확인해 보자”처럼 앞의 풀이를 되돌아보고 다른 방법을 시도하는 모습이 나타나는데, 논문은 이를 “aha moment”라고 부른다.
- AIME 2024 pass@1이 15.6%에서 71.0% 로, 다수결로는 86.7%까지 올라 OpenAI-o1-0912와 비슷한 수준이 됐다.
다만 R1-Zero는 출력이 읽기 어렵고, 한 답변 안에서 여러 언어가 섞이는 문제가 있었다.
DeepSeek-R1: 4단계 학습
R1-Zero의 문제를 고치고 범용성을 더하기 위해 학습을 네 단계로 나눈다.
- 콜드 스타트: 사람이 읽기 좋은 형식의 긴 사고 사슬 데이터 수천 개로 먼저 SFT한다. 처음부터 RL을 할 때의 불안정한 초기 구간을 줄이고, 출력 형식을 정돈한다.
- 추론 중심 강화학습: R1-Zero와 같은 방식으로 RL을 하되, 사고 과정에서 목표 언어 비율을 보상으로 주는 언어 일관성 보상을 더한다. 벤치마크 점수는 약간 떨어지지만 사람이 읽기 좋아진다.
- 거절 샘플링 + SFT: 2단계 모델로 답을 여러 개 생성해 정답이고 읽기 좋은 것만 남긴 추론 데이터 약 60만 개와, 글쓰기·사실 질의응답 등 일반 데이터 약 20만 개를 합쳐 다시 SFT한다.
- 전 영역 강화학습: 추론 문제에는 규칙 기반 보상을, 일반 질문에는 유용성과 무해성을 평가하는 보상 모델을 써서 한 번 더 RL을 한다.
작은 모델로의 증류
3단계에서 만든 약 80만 개 샘플로 Qwen2.5와 Llama 계열의 1.5B~70B 모델을 SFT만 해서 증류한다. 이 모델들에는 RL을 따로 하지 않았다.
실험 결과
- DeepSeek-R1은 AIME 2024 pass@1 79.8%, MATH-500 97.3%, Codeforces 레이팅 2,029(참가자 상위 약 4%)로 OpenAI-o1-1217과 비슷한 수준이었다.
- 추론 외에도 AlpacaEval 2.0, ArenaHard 같은 글쓰기·일반 질의 평가에서 DeepSeek-V3보다 크게 좋아졌다.
- 증류 모델도 강했다. 예를 들어 DeepSeek-R1-Distill-Qwen-7B는 AIME 2024에서 55.5%를 기록해 훨씬 큰 범용 모델들을 앞섰다.
- 같은 Qwen 32B 모델에 대규모 RL을 직접 한 것보다 R1에서 증류한 쪽이 훨씬 좋았다. 저자들은 작은 모델에는 큰 모델의 추론 패턴을 증류하는 것이 더 효율적이고, 한계를 넓히려면 더 강한 기반 모델과 대규모 RL이 필요하다고 정리한다.
- 실패한 시도도 공개했다. 단계별 보상 모델은 “단계”를 정의하기 어렵고 reward hacking에 취약했고, MCTS는 토큰 단위 탐색 공간이 너무 커서 확장이 어려웠다.
느낀 점
- 가장 놀라운 부분은 사고 과정을 길게 하라거나 검산하라고 가르친 적이 없는데, 정답 여부라는 단순한 보상만으로 그런 행동이 생겨났다는 점이다. “aha moment” 예시를 보면, 보상 설계보다 충분히 강한 기반 모델과 충분한 탐색이 더 중요하다는 느낌을 받았다.
- DeepSeekMath에서는 RL이 Pass@K를 거의 올리지 못한다고 분석했는데, R1-Zero에서는 RL만으로 성능이 크게 오른다. 두 결과를 함께 보면 기반 모델의 크기와 RL 규모, 그리고 생각할 수 있는 길이가 RL이 할 수 있는 일의 범위를 바꾸는 것 같다.
- 실용적으로는 증류 결과가 인상 깊었다. 작은 모델에 직접 RL을 하는 것보다 큰 추론 모델의 출력을 SFT하는 편이 낫다는 결과는, 계산 자원이 제한된 환경에서 추론 모델을 만들 때 어디서부터 시작해야 하는지를 알려준다.
- TRPO에서 시작한 “이전 정책에서 너무 멀어지지 않게 하면서 개선한다”는 아이디어가 PPO와 GRPO를 거쳐 여기까지 이어지는 흐름을 따라가 보니, 알고리즘 자체는 점점 단순해지고 그만큼 규모와 보상 설계가 중요해졌다는 것이 보였다.