강화학습과
LLM 정렬
강화학습의 상태, 행동, 보상, 정책, 가치함수를 살펴본다. 이어서 LLM 정렬과 PPO·DPO·GRPO, 보상 해킹, 추론 시 계산량의 역할을 알아본다.
언어모델의 사전학습과 정렬
사전학습 언어모델은 앞의 문맥에 이어질 토큰을 예측한다. 이 능력만으로 사용자 지시를 일관되게 따르거나 유용한 답변을 제공한다고 보장할 수는 없다.
정렬은 모델이 사용자의 의도와 선호에 맞게 응답하도록 추가로 학습하는 과정이다. 지도 미세조정(SFT), 선호 학습, 강화학습 등이 사용된다.
강화학습의 기본 개념을 확인한 뒤, 선호 데이터를 이용한 정렬 과정과 알고리즘별 차이를 비교한다.
강화학습과 MDP
강화학습에서는 상태와 행동, 보상, 환경의 변화를 정의해야 한다. 행동의 결과가 나중에 나타나는 지연 보상도 고려한다.
강화학습의 기본 개념
강화학습은 에이전트가 환경과 상호작용하며 보상을 최대화하는 행동을 학습하는 패러다임이다. 문제는 MDP = (S, A, P, R, γ) 다섯 요소로 정식화된다.
할인율 γ(0~1)는 "미래 보상을 얼마나 현재로 쳐줄 것인가"다: γ가 작으면 근시안적이 되고, 크면 멀리 본다. 4장에서 예고했던 지연 보상 문제의 처리 장치가 바로 이 할인 합이다. 또 하나의 구분: 현재 정책이 만든 데이터만 쓰면 On-policy(PPO 계열, 샘플 효율은 낮지만 안정적), 과거·타 정책 데이터도 재사용하면 Off-policy(DQN 계열, 효율은 높지만 분포 이동 문제). RLHF가 주로 On-policy인 이유는 "지금의 모델이 실제로 낼 답"을 교정해야 하기 때문이다.
생각해 볼 질문: 바둑에서 γ=0.5로 두면 어떤 스타일의 기사가 되는가?
그리드월드의 Q-learning
4×4 격자에서 목표에 도달하면 +1, 함정에 빠지면 −1의 보상을 받는다. 에이전트가 Q값을 갱신하며 행동을 학습하는 과정을 확인한다.
Q-learning 그리드월드
실습 목표: 탐험과 보상, Q값 갱신에 따라 행동 선택이 어떻게 달라지는지 확인한다. 화살표는 각 상태에서 Q값이 가장 높은 행동을 표시한다.
실습 방법: 초기화 후 [10 에피소드]와 [200 에피소드]를 실행한다. 확인할 내용: Q값, 행동 방향, 성공률의 변화를 비교한다. 탐험률 ε=0.2로 무작위 행동을 계속 선택하므로 학습 후에도 실패가 발생할 수 있다.
Q-learning은 현재 보상과 다음 상태의 최대 Q값을 이용해 Q(s,a)를 갱신한다. 달 착륙선 실습의 DQN은 Q값을 신경망으로 근사하며, 경험 재현과 목표 네트워크 등을 함께 사용한다.
생각해 볼 질문: 탐험(무작위 행동)을 전혀 안 하면(ε=0) 이 학습은 무엇에 갇히는가?
정렬 파이프라인: 선호를 보상으로
선호 데이터는 두 응답 중 어느 쪽을 더 선호하는지 비교한 결과다. 보상 모델은 이 데이터를 이용해 응답의 점수를 학습한다.
언어모델 정렬의 목적
사전학습 LLM은 인간의 의도와 정렬되어 있지 않다. 유해·편향 내용을 생성할 수 있고, 지시를 따르지 않을 수 있고, 사실이 아닌 내용을 자신 있게 말하며(M2의 환각), 사람이 선호하는 답의 형태를 모른다.
여기서 정렬(alignment)은 데이터의 순서를 바꾸는 정렬(sorting)과 다른 뜻이다. 사람의 의도와 선호에 맞게 모델의 행동을 조정하는 과정을 말한다. 강화학습은 그 방법 중 하나이며, SFT나 DPO처럼 다른 학습 방식도 사용할 수 있다.
생각해 볼 질문: SFT만으로(RL 없이) 해결하기 어려운 것은 무엇인가? "하지 말아야 할 것"을 예시로 가르치는 일의 어려움을 생각해 보자.
출처 Ouyang 외(InstructGPT), 2022: arxiv.org · Christiano 외(선호 기반 RL의 원형), 2017: arxiv.org
비교를 점수로: Bradley-Terry
평가자는 같은 질문에 대한 두 응답을 비교해 선호하는 쪽을 선택한다. Bradley-Terry 모델은 이러한 선호 확률을 두 응답의 점수 차이로 나타낸다.
L = −E[ log σ( r(x, y_w) − r(x, y_l) ) ] — 선호된 답의 점수가 높아지도록 RM을 훈련
평가자가 응답 A를 B보다 선호하면, 보상 모델은 A가 더 높은 점수를 받도록 학습한다. 여러 질문과 응답 쌍을 이용해 평가 기준을 학습한다.
보상 모델의 평가 기준은 이후 정책 학습에 영향을 준다. 답변의 길이나 공손한 표현을 과도하게 선호하는 데이터는 불필요하게 긴 응답을 유도할 수 있다. 따라서 평가 데이터와 보상 모델의 품질을 함께 확인해야 한다.
생각해 볼 질문: σ(점수차)가 0.5라는 것은 무슨 뜻인가? RM이 두 답에 같은 점수를 주는 상황의 의미를 말로 풀어 보자.
PPO, DPO, GRPO 비교
세 방법은 사용하는 학습 신호, 모델 구성, 데이터 생성 방식이 다르다.
정렬 알고리즘의 구성과 학습 신호
PPO는 보상과 가치 추정을 이용해 정책을 갱신한다. DPO는 선호 응답 쌍으로 정책을 직접 학습한다. GRPO는 같은 질문에서 생성한 여러 응답의 보상을 비교해 상대적 이점을 계산한다.
| PPO (RLHF 표준) | DPO | GRPO | |
|---|---|---|---|
| 필요 모델 | 4개 (Actor·Ref·RM·Critic) | 2개 (Policy·Ref) | 2개 (Policy·Ref) |
| 채점 | 학습된 보상 모델 | 선호 쌍 데이터에 내장 | 자동 검증 (정답 여부) |
| 학습 방식 | 온라인 (실시간 생성) | 오프라인 (사전 데이터) | 온라인 (그룹 샘플링) |
| 강점 | 탐색 능력 우수 | 메모리 절감 · 안정적 | 보상 스케일에 둔감 · 검증 가능 과제에 강함 |
| 대표 사용 | InstructGPT · ChatGPT | Llama 2/3 (SFT→DPO 반복) | DeepSeek-R1 (수학·코딩) |
수식의 최소 골격만 짚는다. PPO의 목적함수 L = E[min(r(θ)A, clip(r(θ), 1−ε, 1+ε)A)]에서 r(θ)는 새 정책/옛 정책의 확률비, clip(ε≈0.2)은 "한 번에 너무 크게 바뀌지 못하게" 묶는 안전벨트다: Proximal(가까운)이라는 이름의 이유. DPO의 손실 L = −E[log σ(β log(π_θ(y_w)/π_ref(y_w)) − β log(π_θ(y_l)/π_ref(y_l)))]은 Bradley-Terry에서 보상을 정책비로 치환해 유도된다: "당신의 언어모델은 이미 비밀리에 보상 모델"이라는 원논문 제목이 요지다. 주의: DPO는 알고리즘이지 데이터 수집 방법이 아니다: 선호 쌍은 사람·AI·정답 검증 등 어떤 방식으로든 만들 수 있다.
생각해 볼 질문: Llama 계열은 왜 PPO 대신 SFT→DPO 반복을 택했을까? 공개 모델 생태계의 제약(재현성, 자원)과 연결해 보자.
출처 PPO: Schulman 외, 2017: arxiv.org · DPO: Rafailov 외, 2023: arxiv.org · GRPO: Shao 외(DeepSeekMath), 2024: arxiv.org
GRPO의 그룹 보상 계산
같은 문제("2 + 3 × 4 = ?")를 놓고 응답을 여러 개 뽑아 자동 채점한다. 그룹 평균이 기준선(baseline)이 되고, 평균보다 나은 응답은 강화되고 못한 응답은 약화된다: Critic 없이 어드밴티지를 얻는 방법이다.
GRPO 어드밴티지 계산기
실습 목표: 응답별 보상과 그룹 평균의 차이를 계산한다. 각 응답의 정답 여부를 바꾸며 값을 비교한다.
실습 방법: 정답 2개와 오답 2개인 상태에서 전부 정답, 전부 오답으로 바꾼다. 확인할 내용: 이 실습은 상대 이점을 보상에서 그룹 평균을 뺀 값으로 단순화한다. 보상이 모두 같으면 이 차이는 0이 된다. 실제 알고리즘의 정규화 방식과는 구분한다.
알고리즘을 비교할 때는 선호 쌍의 사용 여부, 응답 생성 방식, 보상·가치 모델의 구성을 확인한다. 보상을 최종 답에 부여하는 결과 보상(ORM)과 풀이 단계마다 부여하는 과정 보상(PRM)도 구분한다.
생각해 볼 질문: "안전성이 최우선인 의료 챗봇"과 "수학 올림피아드 특화 모델": 각각 어떤 조합(알고리즘+평가)을 고르겠는가?
보상 해킹과 KL 페널티
보상 점수가 높아져도 실제 목표의 달성 정도가 함께 높아지지 않을 수 있다.
보상 해킹의 원인과 대응
보상 해킹은 모델이 실제 목표보다 보상 지표를 높이는 행동에 집중하는 현상이다. 보상 모델이 특정 표현이나 답변 길이를 과대평가하면 불필요한 반복이나 장황한 답변이 늘어날 수 있다.
β 크면: 보수적, 원본에 가깝게 · β 작으면: 공격적, 보상 극대화 (통상 0.01~0.1)
KL 페널티는 학습 중 정책이 참조 모델에서 지나치게 멀어지는 것을 제한한다. 보상 모델 검증, 길이 보정, 별도 평가 등과 함께 사용해 보상 지표와 실제 목표의 차이를 점검한다.
보상 해킹은 보상 지표와 실제 목표가 일치하지 않을 때 발생할 수 있다. 예를 들어 조회수만 높이도록 최적화하면 내용의 품질보다 자극적인 제목을 선택할 수 있다. 보상 점수와 별개로 실제 품질을 평가해야 한다.
환각과 과도한 동조, 불필요하게 긴 응답은 데이터와 학습·평가 방식의 영향을 받는다. 모델을 평가할 때는 하나의 점수뿐 아니라 정확성, 유용성, 오류 유형도 살펴본다.
생각해 볼 질문: 학점(보상)을 최적화하는 학생의 "보상 해킹"에는 무엇이 있는가? 교육 목표와 학점의 틈은 어디서 생기는가?
디코딩 전략과 추론 모델
학습된 모델에서도 토큰 선택 방식과 후보 탐색에 사용하는 계산량을 조절할 수 있다.
디코딩과 후보 응답 선택
온도와 Top-k는 토큰을 선택할 확률분포에 영향을 준다. 여러 응답을 생성하고 평가해 선택하는 방법도 사용할 수 있다.
- Best-of-N: N개를 생성해 채점기로 최선을 고른다. 학습 없이 추론만으로 품질을 올리고, GRPO·DPO용 데이터 수집에도 쓰인다.
- MCTS / Tree-of-Thought: 여러 추론 경로를 트리로 탐색하고 평가·백트래킹한다. 2주차 "탐색"의 귀환이다: 이번에는 LLM이 평가함수다.
N번 뽑으면 얼마나 좋아지는가: pass@N
실습 목표: 독립적으로 N번 생성했을 때 적어도 하나가 정답일 확률을 계산한다. 후보 중 정답을 선택하는 문제는 별도로 구분한다.
실습 방법: 한 번의 정답 확률을 p=5%로 두고 N을 1부터 256까지 늘린다. 확인할 내용: 독립 시행을 가정하면 N=64에서 적어도 하나가 정답일 확률은 약 96.2%다. 이 값은 최종 선택한 답의 정확도가 아니다. 올바른 후보를 고르는 검증 과정이 추가로 필요하다.
각 시행이 독립이고 정답 확률이 p로 같다면 적어도 하나가 정답일 확률은 1−(1−p)ᴺ이다. 실제 생성 결과 사이에 상관이 있거나 검증기가 틀리면 최종 성능은 이 계산과 달라진다. 여러 후보를 생성하는 비용과 선택 정확도를 함께 평가해야 한다.
생각해 볼 질문: p=1%, N=256이면 pass@N은? 그런데 이 256개를 채점할 비용은 누가 내는가?
추론 시 계산량과 성능
모델이 응답을 생성할 때 중간 추론, 자기 검토, 여러 경로 탐색 등에 더 많은 계산을 사용할 수 있다. 성능 향상 정도는 과제와 모델, 검증 방법에 따라 달라진다.
o1(2024)과 DeepSeek-R1(2025)은 추론 과정에 계산을 사용하는 대표적인 사례다. DeepSeek-R1은 강화학습을 이용한 추론 능력 학습을 보고했다. 공개된 방법과 결과는 해당 논문의 모델과 평가 조건을 기준으로 해석한다.
추론 계산량을 늘렸을 때의 성능 변화와 재귀적 자기개선에 관한 주장은 구분해야 한다. 실험으로 확인된 결과, 결과의 적용 범위, 추가 검증이 필요한 해석을 따로 정리한다.
생각해 볼 질문: 추론 시간 계산에도 한계 효용 체감이 있을 것이다. "1시간 생각한 답"이 "1분 생각한 답"보다 60배 좋지 않은 이유를 pass@N의 식에서 찾아보자.
출처 o1: openai.com · DeepSeek-R1, 2025: arxiv.org
요약 정리
강화학습, 선호 학습, 보상 설계, 추론 계산의 역할을 정리한다.
핵심 내용
- 정렬은 모델의 응답을 사용자 의도와 선호에 맞추는 학습 과정이다. SFT, 선호 학습, 강화학습 등 여러 방법을 사용할 수 있다.
- PPO, DPO, GRPO는 학습 신호와 모델 구성이 다르다. 선호 데이터, 보상 검증 가능성, 계산 자원 등을 고려해 비교한다.
- 보상 점수와 실제 품질을 함께 평가한다. 보상 지표에만 맞춘 학습은 실제 목표와 다른 행동을 유도할 수 있다.
AI의 성과를 평가할 때는 실험 결과와 해석을 구분하고, 결과가 성립하는 조건과 한계를 확인한다.
참고문헌
공개 원문 우선. 링크는 2026년 8월 확인 기준.
강화학습 기본
- Sutton, R. S., & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2판). MIT Press. 전문 공개: incompleteideas.net
- Watkins, C., & Dayan, P. (1992). Q-learning. Machine Learning, 8, 279–292. springer.com
정렬 알고리즘
- Christiano, P., et al. (2017). Deep Reinforcement Learning from Human Preferences. NeurIPS. arxiv.org
- Schulman, J., et al. (2017). Proximal Policy Optimization Algorithms. arxiv.org
- Ouyang, L., et al. (2022). Training Language Models to Follow Instructions with Human Feedback (InstructGPT). arxiv.org
- Bai, Y., et al. (2022). Constitutional AI: Harmlessness from AI Feedback. arxiv.org
- Rafailov, R., et al. (2023). Direct Preference Optimization: Your Language Model is Secretly a Reward Model. NeurIPS. arxiv.org
- Ethayarajh, K., et al. (2024). KTO: Model Alignment as Prospect Theoretic Optimization. arxiv.org
- Shao, Z., et al. (2024). DeepSeekMath: Pushing the Limits of Mathematical Reasoning (GRPO). arxiv.org
- Hong, J., Lee, N., & Thorne, J. (2024). ORPO: Monolithic Preference Optimization without Reference Model. arxiv.org
- DeepSeek-AI (2025). DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. arxiv.org
개관 · 기술 문서
- OpenAI. (2024). Learning to Reason with LLMs (o1). openai.com
수식(PPO clip, DPO 손실, Bradley-Terry, pass@N)은 원논문 표기를 따르되 기호를 본문 흐름에 맞춰 통일했다. 모델별 정렬 전략(ChatGPT/Claude/Llama)은 각 사의 공개 논문·기술 보고서 기준이며, 세부는 버전에 따라 다를 수 있다. 그림 4는 개념 모식도로, 실측 데이터가 아니다.