강화학습 —
당근과 채찍으로 배우기

이기면 당근, 지면 채찍 — 그것이 전부였다

2016년 3월, 서울의 한 호텔 대국장에서 알파고가 세계 최정상 기사를 4승 1패로 꺾었다. 놀라운 점은 승리 자체보다 배운 방식이다. 알파고에게 국면별 정답 수를 일일이 알려 준 사람은 없다. 수를 두고, 대국이 끝나면 이겼는가 졌는가라는 보상 신호를 받고, 그 신호로 판단을 고쳤다. 강아지에게 "앉아"를 가르칠 때 물리학을 설명하지 않고 간식과 무시로 가르치는 것과 같은 원리다.

이 배움의 방식을 강화학습(reinforcement learning, RL)이라 한다. 그리고 이 방식은 투자와 묘하게 닮았다. 시장에는 "이 국면의 정답 행동"을 알려 주는 정답지가 없고, 오직 행동 뒤에 따라오는 손익이라는 보상만 있다. 오늘의 매수가 좋은 선택이었는지는 내일, 모레의 손익이 쌓여야 드러난다. 앞 모듈들의 지도학습이 "문제집과 정답지"로 공부했다면, 이 모듈은 정답지를 치우고 당근과 채찍만으로 배우는 기계를 만든다.

그리고 미리 말해 두면, 이 모듈에서 가장 값진 대목은 성공담이 아니라 실패의 기록이다. 첫 구현은 모든 상황에서 현금만 움켜쥐는 겁쟁이가 되어 있었다 — 그 원인과 처방이 이 모듈의 진짜 내용이다.

출처 Silver, D. et al. (2016). "Mastering the game of Go with deep neural networks and tree search." Nature 529. doi:10.1038/nature16961

문제집이 없으면 어떻게 공부하는가

앞 모듈들의 지도학습은 "내일 오를까?"라는 문제에 정답(실제로 올랐는가)이 달린 문제집으로 공부했다. 강화학습에는 정답지가 없다. 행동 뒤에 따라오는 보상과, 한 번의 정답 맞히기가 아닌 행동의 연쇄가 있을 뿐이다.

"왜 굳이 예측 없이인가"에 대한 답은 성적표의 불일치다. 예측 모형의 성적표는 정확도이지만 투자자의 성적표는 손익이고, 이 둘은 생각보다 자주 어긋난다. 방향을 60% 맞히더라도 틀린 40%에서 크게 잃으면 계좌는 녹는다. 예측이 좋아도 수수료를 무시한 채 매일 사고팔면 이익이 비용으로 새어 나간다. 강화학습은 이 간극을 정면으로 공략한다 — "예측을 잘하자"가 아니라 "돈을 잃지 않는 행동을 하자"를 직접 목표로 삼는다.

출처 Sutton, R. S. & Barto, A. G. (2018). Reinforcement Learning: An Introduction (2nd ed.). MIT Press. 공개 원문

상태 · 행동 · 보상 — 되먹임의 고리

강화학습의 부품은 셋이다. 상태(지금 상황) · 행동(선택지) · 보상(잘했는지 점수). 에이전트는 상태를 보고 행동하고, 보상을 받아 판단을 고치는 고리를 돈다.

백지 장부를 시행착오로 채운다

Q-표는 행이 8가지 상태, 열이 2가지 행동인 16칸짜리 표다. 각 칸의 숫자 Q(s, a)는 "이 상황에서 이 행동을 하면 장기적으로 얼마나 남는가"의 현재 추정치다. 학습 시작 때는 전부 0이고, 매일의 경험으로 해당 칸을 실제 경험 쪽으로 조금씩 수정한다.

갱신 규칙은 한 줄이다. 오늘 받은 보상에, 내일 상태에서 가능한 최선의 가치를 할인해 더한 것을 "목표값"으로 삼고, 현재 추정치를 그쪽으로 학습률만큼만 움직인다.

1. 한 걸음 손계산 — 상태 s에서 롱을 택해 다음 날 +1%를 벌었고, 다음 상태의 최선 Q가 0.5%라 하자. 목표값 = 1% + 0.9 × 0.5% = 1.45%
2. 현재 Q(s, 롱) = 1.0%였다면, 학습률 0.1로 차이의 10%만 이동: 새 Q = 1.0 + 0.1 × (1.45 − 1.0) = 1.045%
3. 이 "조금씩 목표 쪽으로" 갱신을 수만 번 반복하는 것이 Q-러닝의 전부다. 다 배우면 각 상태에서 Q가 큰 행동을 고르면 된다

출처 Watkins, C. J. C. H. & Dayan, P. (1992). "Q-learning." Machine Learning 8(3–4). doi:10.1007/BF00992698

할인율 γ는 시간 감각, 학습률 α는 믿음의 정도

갱신식에는 손잡이가 둘 달려 있다. γ(할인율)는 미래 보상을 얼마나 쳐줄지, α(학습률)는 한 번의 경험으로 장부를 얼마나 고칠지를 정한다.

γ가 작을수록 에이전트는 근시안이 되어 당장의 보상만 좇고, 1에 가까울수록 먼 미래까지 내다보는 대신 학습이 느리고 불안정해진다. γ는 에이전트의 시간 감각을, α는 경험을 믿는 정도를 조절하는 손잡이인 셈이다.

첫인상이 나빴다는 이유로, 영원히 기회를 주지 않았다

첫 구현의 학습이 끝나자 정책은 모든 상태에서 '현금'만 선택하고 있었다. 원인은 학습 초기의 불운이었다. 롱에서 몇 번 손실을 본 순간 Q(롱)이 Q(현금)보다 낮아졌고, "제일 좋아 보이는 것만 고르는(greedy)" 선택이 롱을 두 번 다시 시도하지 않았다.

1. 초기값 Q(s, 현금) = 0, Q(s, 롱) = 0에서 출발한다
2. 첫날 롱을 시도했다가 −1%를 맞으면 Q(s, 롱) = 0 + 0.1 × (−1 − 0) = −0.1
3. 이제 Q(현금) = 0 > Q(롱) = −0.1이므로 탐욕적 선택은 이후 매일 현금만 고른다. 현금의 보상은 0이라 Q(현금)은 0에 머문다
4. 롱은 두 번 다시 선택되지 않으니 Q(롱) = −0.1도 영원히 갱신되지 않는다. 설령 그 상태가 사실은 평균 +0.5%를 주는 좋은 국면이어도, 낡은 숫자를 고칠 새 경험이 유입되지 않는다

학습이 멈춘 게 아니라 배울 기회 자체가 차단된 것이다. 이것이 탐험-활용 딜레마다 — 지금 제일 좋아 보이는 것만 하면(활용) 더 좋은 선택지를 영영 발견하지 못하고, 새것만 시도하면(탐험) 아는 이득을 챙기지 못한다. 단골 식당만 가면 더 맛있는 집을 평생 모르고, 매번 새 식당만 가면 실패도 잦다.

세 가지 처방, 그리고 ε-greedy

해결책의 핵심은 ε-greedy다. 확률 1−ε로는 Q가 가장 큰 행동을 고르고(활용), 확률 ε로는 무작위 행동을 시도한다(탐험). ε = 0.1이면 열 번 중 아홉 번은 최선을, 한 번은 모험을 한다.

1. 탐험률 하한 — 아무리 확신이 굳어도 10%는 무작위로 다른 행동을 시도한다. 억울하게 저평가된 롱도 언젠가 다시 선택되고, 그 경험이 Q(롱)을 실제 가치 쪽으로 끌어올린다. 교정의 문을 항상 열어 두는 장치
2. 학습률 감쇠 — 초반에는 큰 보폭으로 빠르게 배우되, 후반에는 보폭을 줄여 하루의 우연이 다 익은 정책을 흔들지 못하게 한다
3. 충분한 반복 — 8상태 × 2행동 = 16칸 각각에 통계적으로 의미 있는 경험이 쌓일 시간을 보장한다

셋 중 하나만 빠져도 무너진다 — 탐험이 없으면 고착되고, 감쇠가 없으면 수렴하지 않으며, 반복이 부족하면 요행을 실력으로 착각한다. 세 처방을 적용하자 정책은 데이터에 심어 둔 정답 구조와 정확히 일치하는 형태로 수렴했다: [5일 모멘텀 하락 국면 = 현금, 상승 국면 = 롱]. 실패 → 원인 진단 → 처방 → 검증의 이 순환이 이 모듈이 진짜 가르치는 것이다.

출처 Robbins, H. (1952). "Some aspects of the sequential design of experiments." Bulletin of the American Mathematical Society 58(5). doi:10.1090/S0002-9904-1952-09620-8 · Sutton & Barto (2018), 2장(밴딧)·6장(Q-러닝).

미니 Q-러닝 — 탐험이 없으면 무엇이 멈추는가

본편의 8상태 문제를 눈으로 따라갈 수 있게 2상태로 줄인 축소판이다. 상태는 {추세 상승, 추세 하락} 두 가지가 하루씩 번갈아 오고, 행동은 {현금, 롱} 두 가지. 보상표는 고정이다.

정답 정책은 자명하다 — 상승이면 롱, 하락이면 현금. 문제는 에이전트가 이 보상표를 모르는 채로 시행착오만으로 알아낼 수 있는가다. 갱신은 Q ← Q + 0.5 × (r − Q)의 밴딧형(γ = 0), 선택은 ε-greedy(동률이면 현금), 난수는 시드 42로 고정한 LCG라 언제 돌려도 같은 결과가 재현된다.

구조를 심어 둔 데이터에서, 심어 둔 구조를 찾아냈는가

정답 구조를 심어 둔 사이클 합성데이터에서, 이 플랫폼의 실험은 인샘플 6.29 → OOS 5.73 유지를 기록했다(이 플랫폼의 합성데이터 실험 실측치). 학습에 쓰지 않은 구간에서 성적이 유지된다는 것은, 에이전트가 잡음을 외운 게 아니라 심어 둔 구조를 실제로 찾아냈다는 증거다.

그리고 16칸 Q-표의 투명성은 생각보다 귀한 성질이다. 표를 열어 "하락 국면 칸에서 현금의 Q가 롱보다 크다"를 눈으로 확인할 수 있으므로, 정책이 왜 그렇게 행동하는지 사람에게 설명할 수 있다. 오토인코더·CNN·RNN 모듈의 신경망처럼 수만 개 가중치 속에 판단 근거가 흩어져 있는 모형과 대비되는 지점이며, "설명할 수 있는가"가 점점 중요해지는 금융 규제 환경에서 작은 모형의 실용적 미덕이기도 하다. 상태 8개짜리 작은 표를 고집한 이유가 이것이다 — 칸이 적어야 칸마다 경험이 충분히 쌓이고, 해석도 된다.

"재현이 어렵다"는 말의 실체

같은 데이터, 같은 코드라도 탐험이 무작위이므로 난수 시드가 다르면 학습 경로가 갈라지고, 초기의 우연한 경험 몇 개가 최종 정책을 다른 곳으로 데려갈 수 있다.

심층 강화학습 연구에서는 같은 실험을 시드만 바꿔 여러 번 돌렸을 때 성적 편차가 크다는 보고가 반복되어 왔다. 실무적 교훈은 명확하다 — RL 백테스트 결과는 한 번의 곡선이 아니라 여러 시드의 분포로 보아야 하고, 단일 실행의 화려한 수익 곡선은 요행일 가능성을 항상 남겨 두어야 한다. 실제 업계에서 강화학습이 비교적 안착한 곳도 방향 베팅보다는 주문 집행(대량 주문을 어떻게 쪼개어 체결 비용을 줄일까) 같은, 보상이 비교적 빠르고 명확하게 관측되는 문제들로 알려져 있다.

출처 Henderson, P. et al. (2018). "Deep Reinforcement Learning that Matters." AAAI 2018. arXiv:1709.06560 · Mnih, V. et al. (2015). "Human-level control through deep reinforcement learning." Nature 518. doi:10.1038/nature14236