M6 대회 —
예측왕은 투자왕이 아니다

상관계수 0.04 — 사실상 무관

2023년, 12개월짜리 국제 대회가 끝나고 조직위원회는 두 장의 순위표를 나란히 놓았다. 한 장은 "누가 시장을 잘 맞혔는가"(예측 점수), 다른 한 장은 "누가 돈을 잘 벌었는가"(투자 점수). 상식대로라면 두 표의 위쪽에는 같은 이름들이 보여야 했다. 그런데 두 순위의 상관계수는 약 0.04 — 사실상 무관했다.

이 대회의 이름은 M6. 미국 주식 50개와 ETF 50개를 두고, 전 세계 참가팀이 1년 동안 매달 아직 일어나지 않은 미래를 상대로 예측과 투자를 제출하고 채점받았다. 과거 데이터로는 절대 할 수 없는 종류의 실험이다. 과거는 이미 답을 알고 있는 시험지이고, 전향 평가 모듈에서 봤듯 미래만이 커닝이 불가능한 시험지이기 때문이다.

이 모듈은 그 실험이 남긴 숫자들을 읽는다. 예측왕이 왜 투자왕이 아니었는지, 6.7%라는 성적표가 무엇을 말하는지, 그리고 상위팀들이 공통으로 지킨 "화려하지 않은 규율"이 무엇이었는지.

출처 Makridakis et al., "The M6 forecasting competition: Bridging the gap between forecasting and investment decisions", arXiv:2310.13357.

통계학계의 통념을 여러 번 뒤집은 대회

예측 연구에는 40년 넘게 이어진 유명한 대회 시리즈가 있다. 마크리다키스(Makridakis) 교수가 이끈 M 대회다. 1982년 첫 대회(M1) 이래 "미리 제출하고 나중에 채점"이라는 전향(prospective) 원칙을 지켜 왔다.

초기 대회들에서는 "복잡한 모델이 단순한 모델을 이기지 못한다"는 결과가 반복되어 통계학계에 큰 논쟁을 불렀다. 여섯 번째 대회인 M6(2022~2023)는 이 전통을 가장 어려운 무대, 금융시장으로 가져왔다. 미국 주식 50개 + ETF 50개, 총 100개 자산을 두고 참가팀들이 12개월 동안 매달 예측과 포트폴리오를 제출했다. 개인의 감이 아니라 집단 규모의 실증 데이터가 쌓인 것이다.

출처 Makridakis et al., "The accuracy of extrapolation (time series) methods: Results of a forecasting competition", Journal of Forecasting 1(2), 1982 · M6 결과: arXiv:2310.13357.

예측은 RPS로, 투자는 IR로 — 종합은 순위의 평균

대회는 두 종목으로 나뉜다. 예측 트랙은 각 자산의 4주 뒤 수익률이 100개 중 어느 5분위에 들지 확률로 제출하고 RPS로 채점한다. 투자 트랙은 포트폴리오 비중을 제출하고 IR로 채점한다. 종합 순위는 두 트랙 순위의 평균이다.

"5분위"의 의미를 정확히 해 두자. 4주 뒤 100개 자산의 수익률을 실제로 관측한 다음, 성적순으로 줄을 세워 20개씩 다섯 묶음으로 나눈다. 1분위는 최하위 20개(급락 쪽), 5분위는 최상위 20개(급등 쪽)다. 참가자는 "이 자산이 몇 % 오른다"가 아니라 "1분위일 확률 10%, 2분위일 확률 20%, …"처럼 다섯 칸에 확률을 나눠 담아 제출한다.

왜 굳이 확률로 받을까. 미래는 불확실하므로, 자신이 얼마나 확신하는지까지 정직하게 표현하게 만들기 위해서다. 확신 없는 참가자는 확률을 넓게 펴고, 확신 있는 참가자는 한 칸에 몰아넣는다. 채점법이 이 정직성을 보상하도록 설계되어 있는데, 그것이 다음 절의 RPS다.

출처 대회 규칙·채점 방식: Makridakis et al., arXiv:2310.13357.

누적 확률의 차이를 제곱해서 평균한다

RPS(Ranked Probability Score)는 확률을 낮은 분위부터 누적한 것과, 정답의 누적(정답 분위부터 1이 되는 계단)의 차이 제곱을 평균한 값이다. 낮을수록 좋다. 정답에서 먼 분위에 확률을 실을수록 벌점이 커진다.

예측 확률을 \(p_1,\dots,p_5\), 정답 분위의 원-핫 표시를 \(o_1,\dots,o_5\)라 하면

\[ \mathrm{RPS} \;=\; \frac{1}{5}\sum_{k=1}^{5}\Bigl(\sum_{i\le k} p_i \;-\; \sum_{i\le k} o_i\Bigr)^{2} \]

"누적해서 비교한다"가 핵심 아이디어다. 분위에는 순서가 있다. 정답이 5분위(급등)인데 4분위(상승)에 확률을 실었다면 "아깝게 틀린" 것이고, 1분위(급락)에 실었다면 "완전히 반대로 틀린" 것이다. 단순히 맞음/틀림만 채점하면 이 둘이 같은 벌점을 받지만, 누적 확률끼리 비교하면 정답에서 먼 칸에 담긴 확률일수록 여러 누적 단계에 반복해서 차이를 만들어 벌점이 커진다. 방향과 정도가 모두 중요한 금융 예측에 잘 어울리는 채점법이다.

출처 Epstein, "A Scoring System for Probability Forecasts of Ranked Categories", Journal of Applied Meteorology 8(6), 1969.

기준선 0.16, 그리고 확신의 비대칭

아무 정보 없이 균등하게 (0.2, 0.2, 0.2, 0.2, 0.2)를 냈고 정답이 1분위라 하자. 누적예측 (0.2, 0.4, 0.6, 0.8, 1.0)과 누적정답 (1, 1, 1, 1, 1)의 차이 제곱 (0.64, 0.36, 0.16, 0.04, 0)의 평균은 0.24다.

정답 분위가 어디냐에 따라 값이 달라진다 — 정답 2분위면 0.12, 3분위면 0.08, 4분위면 0.12, 5분위면 0.24. 다섯 경우를 평균하면 균등 예측(나이브)의 기대 RPS는 0.16. 즉 0.16이 "아무 정보 없음"의 기준선이며, 이보다 낮아야 예측력이 있는 것이다.

교훈은 표의 3~4행에 있다. 확신은 맞으면 크게 보상받지만 틀리면 더 크게 처벌받는다. 근거 없는 확신보다 정직한 불확실성이 낫다는 원칙을, RPS는 수학으로 강제한다.

확률을 담고, 정답을 고르고, 벌점을 받는다

예측을 잘하는 사람과 돈을 버는 사람은 거의 겹치지 않았다

예측 점수(RPS)와 투자 점수(IR)의 순위 상관은 약 0.04 — 사실상 0이다. 예측 순위를 알아도 투자 순위를 맞히는 데 거의 도움이 되지 않았다.

예측과 수익 사이에는 최소 세 개의 관문이 더 있다.

1. 변환 — "약간 오를 확률 60%"라는 예측에 자본을 얼마나 걸 것인가. 확률을 포지션 크기로 바꾸는 규칙이 필요하다
2. 위험 관리 — 예측이 틀렸을 때의 손실을 어떻게 제한할 것인가
3. 집계 — 100개 자산의 예측을 하나의 포트폴리오로 어떻게 묶을 것인가

예측은 재료일 뿐 요리가 아니다. 이 강의에서 예측 점수와 투자 점수를 절대 하나로 뭉뚱그리지 않고 따로 보는 이유가 여기에 있다.

출처 상관계수·트랙별 결과: Makridakis et al., arXiv:2310.13357.

두 벤치마크를 모두 이긴 참가자는 6.7%

두 트랙의 벤치마크는 각각 "아무 정보 없는 균등 확률"과 "전 자산 균등 투자"라는, 노력이 전혀 들지 않는 전략이다. 그 둘을 동시에 이긴 참가자가 100명 중 7명이 안 됐다.

이 숫자를 제대로 읽으려면 우연의 몫을 빼고 보아야 한다. 실력이 전혀 없는 참가자들만 모였더라도 순전히 운으로 두 벤치마크를 동시에 이기는 사람은 일정 비율 나오기 마련이다. 1년간 진지하게 노력한 참가자 집단의 성적표가 그 우연 수준을 크게 웃돌지 못했다는 뜻이며, 공개 정보만으로 시장을 이기는 일이 얼마나 어려운지를 보여 주는 강력한 실증이다. 이론적 해석은 §4에서 잇는다.

출처 Makridakis et al., arXiv:2310.13357.

적게, 넓게, 양방향 — 전부 분모를 줄이는 기술

상위팀의 공통점은 화려한 모델이 아니라 규율이었다. 자본의 25~50%만 투입(적게), 여러 자산에 분산(넓게), 롱과 숏을 함께(양방향). 셋 다 IR의 분모인 변동성을 줄이는 기술이다.

왜 분모 공략이 유리한가. 분자(수익)를 키우려면 남보다 나은 예측이 필요한데, 방금 봤듯 그 우위는 극히 드물고 작다. 반면 분모는 예측력이 전혀 없어도 수학적으로 확실하게 줄일 수 있다. 손계산 하나 — 어떤 자산 하나에 전 재산을 걸면 기대수익 2%, 변동성 10%라 하자. IR = 2 ÷ 10 = 0.2다. 서로 상관이 0인 비슷한 자산 4개에 4분의 1씩 나눠 담으면 기대수익은 여전히 2%지만 변동성은 10% ÷ √4 = 5%로 준다(독립인 출렁임은 서로 상쇄된다). IR = 2 ÷ 5 = 0.4, 두 배다. 예측력을 한 톨도 더하지 않고 점수를 배로 올린 것이다.

롱숏 병행도 같은 원리다. 오를 것은 사고 내릴 것은 공매도하면 시장 전체가 출렁일 때 두 포지션이 반대로 움직여 상쇄되므로, 시장 급락 같은 공통 충격이 분모에서 빠져나간다.

출처 상위팀 특성 분석: Makridakis et al., arXiv:2310.13357.

약형 · 준강형 · 강형

효율적 시장 가설(k-NN 아날로그 모듈에서 처음 만났다)은 "어떤 정보까지 이미 가격에 반영되어 있는가"에 따라 세 층으로 나뉜다.

약형이 성립한다는 것은 "어제까지의 주가 그래프에서 내일을 읽을 수 없다"는 뜻이다. 이동평균선 골든크로스 같은 차트 신호가 정말 돈이 됐다면, 그것은 누구나 볼 수 있는 공개 패턴이므로 모두가 먼저 사려 들었을 것이고, 그 매수세가 가격을 미리 올려 신호의 이익을 지워 버린다. 준강형은 한 단계 더 나아간다 — 실적 발표 기사를 읽고 사는 것은 이미 늦다. 뉴스가 공개되는 순간 수많은 기관의 알고리즘이 초 단위로 가격에 반영해 버리기 때문이다. M6의 결과는 "대다수 참가자에게 시장은 최소한 준강형처럼 행동했다"로 읽을 수 있다.

출처 Fama, "Efficient Capital Markets: A Review of Theory and Empirical Work", Journal of Finance 25(2), 1970 · Samuelson, "Proof That Properly Anticipated Prices Fluctuate Randomly", Industrial Management Review 6(2), 1965 · Bachelier, Théorie de la spéculation, 1900 · 노벨상: nobelprize.org (2013).

완전한 효율은 스스로를 무너뜨린다 — 그로스만-스티글리츠

시장이 완벽하게 효율적이라면 이상한 결론이 나온다. 정보를 찾는 데는 비용(시간·데이터·연구)이 드는데, 가격에 모든 정보가 이미 반영되어 있다면 아무도 그 비용을 지불하지 않을 것이고, 그러면 정보를 가격에 반영해 줄 사람이 사라진다.

이것이 그로스만-스티글리츠의 역설(1980)이다. 완전히 효율적인 시장은 논리적으로 불가능하며, 시장의 효율은 그것을 의심하고 파헤치는 사람들의 (보상받는) 노력으로 유지된다. 따라서 시장은 정보 수집 비용을 보상할 만큼의 비효율을 항상 남겨 둘 수밖에 없다. 알파는 존재하되 공짜가 아니다 — 그것을 캐는 비용과 경쟁을 이겨 낸 몫만 남는다. "알파는 없다"와 "알파는 널려 있다"의 중간, 그것이 이 강의가 서 있는 자리이고, 6.7%라는 숫자의 이론적 배경이다.

역설의 구조는 일상에서도 발견된다. 맛집 리뷰가 완벽하게 정확하다면 아무도 직접 가서 실패해 볼 필요가 없다. 그런데 아무도 새로 가 보지 않으면 리뷰가 갱신되지 않는다 — 같은 순환이다.

출처 Grossman & Stiglitz, "On the Impossibility of Informationally Efficient Markets", American Economic Review 70(3), 1980.

인샘플 +4.20이 OOS에서 −2.58로 무너졌다 — 그리고 그게 정상이다

이 강의 플랫폼에는 M6의 방법론(분위 확률 예측 → 기대수익 변환 → 저노출 규율 배분)을 재현한 모듈이 있다. 알파를 일부러 넣지 않은 합성데이터에서 돌린 결과: 예측 RPS는 나이브 기준선보다 아주 조금 나은 0.157(기준선 0.16), 투자 성과는 인샘플 IR +4.20 → 아웃오브샘플 −2.58로 붕괴했다. 알파가 없으니 무너지는 것이 정상이다.

"성과가 안 나오는 실험이 왜 가치 있는가"라는 의문이 들 수 있다. 이것은 신약 실험의 음성 대조군과 같은 역할이다. 약효가 없어야 마땅한 가짜 약(위약)을 먹인 집단에서 "효과 있음"이 나온다면 실험 설계 어딘가가 오염된 것이다. 마찬가지로 알파 없는 합성데이터에서 파이프라인이 그럴듯한 OOS 수익을 만들어 냈다면, 그것은 축하할 일이 아니라 누수나 과적합이라는 경보다.

인샘플 +4.20이 OOS에서 −2.58로 무너지는 궤적 자체가, 앞선 모듈들이 경고해 온 과적합의 전형을 그대로 재현한다. 훈련 데이터에서 잡음을 외운 모델은 새 데이터에서 그 대가를 치른다. 이 재현 실험이 검증하는 것은 "돈을 벌 수 있다"가 아니라 "이 파이프라인은 거짓 알파를 만들어 내지 않으며, 진짜 알파를 넣어 주면 그것을 성과로 변환할 준비가 되어 있다"는 구조적 건전성이다.