미래는 컨닝할
수 없다
데이터가 완벽하고 도구가 완벽해도, 평가 방식이 잘못되면 실력과 운은 구분되지 않는다. 과거를 여러 번 뒤진 연구자의 선택 편향에서 출발해, 홀드아웃이 조용히 오염되는 과정, 그리고 "아직 인쇄되지 않은 시험지"로 채점하는 전향 평가까지. 우연한 천재가 몇 명 나오는지, 같은 수익도 왜 점수가 갈리는지 직접 계산해 보는 실습이 들어 있다.
과거를 상대로는 천재였던 전략들이, 미래 앞에서 무너졌다
백테스트는 답안지를 옆에 두고 치르는 시험이다. 이 모듈은 답안지가 아직 존재하지 않는 시험, 전향 평가로 넘어간다.
답안지가 없는 시험장
2022년, 국제 예측 대회 M6가 열렸다. 미국 주식과 ETF 100개 자산을 놓고, 참가팀들은 매 회차 마감 전에 예측과 포트폴리오를 먼저 제출해야 했다. 그다음에야 시장이 움직였고, 실제로 실현된 수익률로 채점받았다. 과거 데이터를 상대로 한 시험이 아니라, 아직 오지 않은 미래를 상대로 한 1년짜리 시험이었다.
결과는 겸손을 강요했다. 다수 참가팀이 단순한 시장 평균(벤치마크)조차 이기지 못했다. 참가자 각자의 컴퓨터 안에서는 화려한 백테스트 성적표가 있었을 것이다. 그러나 과거를 상대로 받은 점수와 미래를 상대로 받은 점수는 전혀 다른 시험의 성적이었다. 모듈 1이 "같은 시험지"를 만드는 일이었다면, 이 모듈의 질문은 한 걸음 더 나아간다 — 시험지가 이미 공개된 시험을, 시험이라 부를 수 있는가.
이 모듈은 평가라는 주제의 이론부만 다룬다. 실제 제출에 적용되는 세부 규칙 — 유니버스 30종목, 종목당 비중 상한, 회전당 비용(bp), 트랙별 채점 절차 — 는 부록 A · 플랫폼과 포트폴리오 제출에 정리되어 있다. 규칙은 외우는 것이 아니라 "왜 이런 제한을 두었는가"를 이해하는 것이 목표이고, 그 "왜"에 해당하는 원리가 바로 이 모듈이다.
생각해 볼 질문
"우리 전략은 지난 10년 백테스트에서 연 25%를 냈습니다"라는 광고를 봤다고 하자. 이 문장이 미래 성과의 증거가 되려면 어떤 정보가 더 필요한가. 이 모듈이 끝나면 "몇 개를 시험해 봤는가"라는 반문이 자동으로 나와야 한다.
백테스트의 숙명적 한계
미래 정보의 누출을 완벽히 차단해도 마지막 누출 경로가 남는다 — 과거를 이미 여러 번 본 연구자 자신이다.
성실할수록 더 잘 속는다
과거 데이터는 바뀌지 않는다. 그래서 연구자는 수백 가지 아이디어를 같은 과거에 반복해서 돌려 볼 수 있고, 그중 우연히 잘 맞는 것이 반드시 나오며, 우리는 그것만 기억하고 보고한다. 이것이 선택 편향이다.
이 문제의 교묘한 점은 속일 의도가 전혀 없어도 발생한다는 것이다. 성실한 연구자일수록 더 많은 아이디어를 시험하고, 시도가 많을수록 "우연히 과거에 잘 맞은 무언가"를 발견할 확률은 기계적으로 올라간다. 선택 편향은 게으름의 문제가 아니라 탐색이라는 행위 자체에 내장된 세금이다.
금융 바깥에서도 같은 얼굴로 나타난다. 임상시험에서 여러 지표를 재 보고 좋게 나온 것만 보고하는 행위, 광고에서 "고객 만족 후기"만 골라 보여 주는 관행이 모두 같은 구조다. 그래서 임상시험은 시작 전에 무엇을 잴지 미리 등록하게 한다 — 뒤에서 볼 전향 평가의 "먼저 제출, 나중 채점"과 정확히 같은 처방이다.
백테스트 과적합을 정량화하려는 연구들이 있다. 서로 무관한 전략을 여러 개 시험할 때 "그중 최고 성적"의 기댓값은 시도 횟수가 늘수록 순전한 운만으로도 계속 올라간다는 것이 핵심 결과다. 아무 실력이 없어도 후보가 많으면 챔피언의 백테스트 성적은 그럴듯해 보인다. 그래서 시도 횟수를 감안해 성과 지표를 깎아서 보는 보정 방법(이른바 축소 샤프지수, deflated Sharpe ratio 계열)이 제안되었고, "몇 개를 시험해 봤는지"를 기록·공개하는 것 자체가 연구 윤리로 자리 잡고 있다.
교훈은 단순하다. 백테스트 성적표는 "몇 번 시도했는가"라는 꼬리표 없이는 해석할 수 없다. 학술 쪽에서도 같은 경고가 반복되어 왔다 — 수백 개의 "시장 이기는 요인"이 논문으로 보고되었지만, 다중 비교를 감안하면 상당수는 우연의 산물로 지목되기도 한다.
출처 Bailey, Borwein, López de Prado & Zhu, "Pseudo-Mathematics and Financial Charlatanism", Notices of the AMS 61(5), 2014: ams.org (공개 PDF) · Bailey & López de Prado, "The Deflated Sharpe Ratio", Journal of Portfolio Management 40(5), 2014 · Harvey, Liu & Zhu, "… and the Cross-Section of Expected Returns", Review of Financial Studies 29(1), 2016.
과거를 완벽하게 설명하는 전략은 대개 과거만 설명한다
과적합(overfitting)은 전략이 과거 데이터의 우연한 잡음까지 외워 버려, 과거에는 완벽해 보이지만 새 데이터에서는 통하지 않는 상태다. 기출문제 답만 통째로 외운 학생이 새 문제 앞에서 무너지는 것과 같다.
과거 수익률에는 "진짜 신호"와 "그때 한 번뿐인 잡음"이 섞여 있다. 전략의 규칙을 복잡하게 만들수록(파라미터를 늘릴수록) 잡음까지 맞추는 능력이 커지고, 백테스트 성과는 반드시 좋아진다. 문제는 잡음이 미래에 재현되지 않는다는 것이다.
"백테스트 수익률이 화려할수록 좋은 전략이다."
반대에 가깝다. 파라미터를 충분히 늘리면 어떤 과거든 완벽하게 맞출 수 있으므로, 지나치게 아름다운 백테스트 성적은 실력의 증거가 아니라 과적합의 경고 신호다. "성과가 너무 좋으면 오히려 의심하라"는 퀀트 업계의 격언은 이 구조에서 나왔다.
과적합과 선택 편향은 동전의 양면이다. 전략 하나의 파라미터를 1,000가지로 바꿔 보는 것(과적합의 탐색)과 서로 다른 전략 1,000개를 시험하는 것(선택 편향)은 수학적으로 같은 행위 — 같은 과거에 1,000번 질문을 던지는 일 — 다. 다음 실습에서 이 "1,000번의 질문"이 만들어 내는 우연한 천재의 수를 직접 세어 본다.
생각해 볼 질문
파라미터가 2개인 전략과 20개인 전략이 같은 백테스트 성적을 냈다면 어느 쪽을 더 신뢰해야 하는가. 그 이유를 "잡음을 맞추는 능력"이라는 말로 설명해 보자.
동전 던지기 실험실
개인에게는 기적이 집단에서는 일상이 된다. 전략 1,000개를 백테스트하는 것은 1,000명에게 동전을 던지게 하는 것과 같다.
1,000명이 던지면 천재는 몇 명 나오는가
N명이 동전을 10번씩 던질 때, "8회 이상 앞면"은 몇 명인가
목표 — 아무 실력 없는 순수한 동전 던지기에서도, 참가자 수가 늘면 "천재처럼 보이는 사람"이 기계적으로 늘어난다는 것을 숫자로 확인한다. 이 계산은 난수 시뮬레이션이 아니라 이항분포의 정확한 계산이다.
P(10번 중 8회 이상 앞면)
= (C(10,8)+C(10,9)+C(10,10)) / 210
= (45+10+1) / 1024 = 56/1024 ≈ 5.47%
P(10번 모두 앞면) = 1/1024 ≈ 0.098%
조작 안내 — N을 100명에서 10,000명까지 움직여 본다. 관찰 포인트 — ① N=1,000이면 "8회 이상 앞면"이 약 55명 기대된다. 실력 있는 사람이 한 명도 없는데도. ② N을 10배로 올리면 기대 인원도 정확히 10배 — 우연한 천재의 수는 시도 횟수에 선형이다. ③ "10연속 앞면(확률 0.1%)"조차 N이 1,000명이면 적어도 한 명 나올 확률이 62%를 넘는다. 개인에게는 기적이 집단에서는 일상이다.
이 실습의 숫자를 백테스트 언어로 번역하면 이렇다. 서로 무관한 전략 1,000개를 같은 과거에 돌리면, 순전한 운만으로 "10번의 분기 중 8번 이상 시장을 이긴" 전략이 55개쯤 나온다. 그중 최고 성적 하나만 골라 보고하는 순간, 우리는 동전 던지기 우승자를 "동전 예측 천재"로 발표하는 셈이 된다. 반대로 말하면 — 백테스트 성적을 해석하려면 반드시 분모(총 시도 횟수)를 물어야 한다. 55/1,000과 55/55는 전혀 다른 이야기다.
전향 평가의 원리
홀드아웃은 좋은 습관이지만 왕복 몇 번이면 오염된다. 완전한 해법은 하나뿐이다 — 시험지가 아직 인쇄되지 않은 시험.
홀드아웃도 조용히 오염된다
"데이터를 학습용과 검증용으로 나눠, 검증용(홀드아웃)에서 통하는지 확인하면 되지 않나?" 좋은 습관이지만 완전한 해법은 아니다. 홀드아웃은 단 한 번만 채점에 쓸 때 의미가 있다.
연구자가 홀드아웃 성적을 확인하고 전략을 고친 뒤 다시 홀드아웃을 확인하는 순간, 그 데이터는 더 이상 "본 적 없는 데이터"가 아니다. 몇 번 왕복하면 홀드아웃도 조용히 오염된다. 시험지를 몰래 훔쳐본 것이 아니라, 채점 결과를 보고 답안을 고치기를 반복한 셈이다. 결과적으로 홀드아웃 성적도 탐색의 대상이 되어 선택 편향에 노출된다.
오염의 속도는 왕복 횟수에 달려 있다. 홀드아웃을 한 번 보고 끝내면 오염은 없다. 열 번 왕복하면 홀드아웃은 사실상 두 번째 학습 데이터다. 문제는 이 오염이 눈에 보이지 않는다는 것 — 데이터 파일은 그대로이고, 오염된 것은 연구자의 머릿속이기 때문이다. 기계학습 대회들이 최종 순위를 참가자가 한 번도 피드백받지 못한 별도 데이터로 매기는 것, 임상시험이 사전 등록(pre-registration)으로 "무엇을 잴지"를 미리 못 박는 것이 모두 이 보이지 않는 오염에 대한 방어다.
생각해 볼 질문
홀드아웃 성적을 "보되 오염시키지 않는" 방법이 있을까. "확인 횟수를 기록하고 공개한다"는 절충안은 무엇을 해결하고 무엇을 해결하지 못하는가.
먼저 제출, 나중 채점 — 컨닝의 물리적 차단
유일하게 완전한 해법이 전향(forward) 평가다. 포트폴리오 비중을 먼저 제출하고, 그다음에 시장이 움직이고, 실현된 수익률로 채점받는다. 시험지가 아직 인쇄되지 않았으므로 컨닝이 물리적으로 불가능하다.
아무리 교묘한 과적합도 아직 존재하지 않는 데이터에는 맞출 수 없다. 도입에서 본 M6 대회가 정확히 이 방식이었고, 이 강의 플랫폼의 공식 평가도 이를 본떴다. 물론 대가가 있다.
- 느리다 — 시간이 실제로 흘러야 한다. 52주 치 성적을 얻으려면 정말로 1년을 기다려야 한다
- 표본이 작다 — 단기 성적에는 운이 많이 섞인다. 몇 주의 전향 성적만으로 실력을 단정할 수 없다
그래서 실무의 표준은 둘의 조합이다. 백테스트로 아이디어를 빠르게 거르되 그 성적은 "참고"로만 취급하고, 최종 판정은 전향 성적에 맡긴다. 백테스트는 예선, 전향 평가가 본선이다. 예선 성적이 아무리 화려해도 본선 무대에 서 보기 전까지는 아무것도 증명된 것이 없다.
제출이 항상 결과보다 먼저다. 마감 후 수정 불가, 과거 소급 채점 없음 — 늦게 참가해도 "과거를 알고 낸 비중"이 순위표에 끼어들 틈이 없다.
이 원리를 구현한 세부 규칙(유니버스 30종목 · 종목당 비중 상한 · 회전당 비용 bp · 트랙별 채점 절차)은 부록 A에서 다룬다.
"먼저 제출"이라는 반 박자가 왜 결정적인가. 마감 시점에 아직 일어나지 않은 가격 움직임으로만 채점되므로, 제출 순간의 어떤 정보 우위도 미래를 맞히는 능력 없이는 점수가 되지 않는다. 모듈 1의 "하루 지연 체결"이 백테스트 안에서 룩어헤드를 막는 장치였다면, 전향 평가는 아예 평가 전체를 시간의 화살 위에 올려놓는다. 룩어헤드는 규칙으로 막고, 선택 편향은 시간으로 막는다.
전향 평가의 소표본 문제는 뒤집으면 겸손의 근거이기도 하다. 전향에서 몇 주 좋았다고 실력이 증명된 것도 아니다 — 동전 던지기 실습의 논리는 미래 방향으로도 똑같이 적용된다. 실력의 증거는 충분히 긴 전향 구간에서 쌓인 꾸준함뿐이고, 그 "꾸준함"을 숫자로 재는 도구가 다음 절의 IR이다.
채점의 설계 — IR
총수익만으로 채점하면 모두가 도박으로 몰리고, 안정성만으로 채점하면 모두가 현금에 숨는다. 그래서 분자와 분모가 모두 필요하다.
많이 버는가가 아니라, 꾸준히 버는가
투자 트랙의 채점 지표는 IR(정보비율, Information Ratio)이다. 주간 수익률의 합을 그 표준편차로 나눈다: \( \mathrm{IR} = \dfrac{\sum_t r_t}{\sigma(r_t)} \). 분모에 변동성이 있으므로 "많이" 버는 것만으로는 부족하고 "꾸준히" 벌어야 점수가 난다.
채점 지표는 단순한 성적표가 아니라 참가자의 행동을 조종하는 손잡이다. 총수익만으로 채점하면 변동성 큰 도박이 유리해지고 — 우연히 크게 맞힌 한 명이 순위표 꼭대기에 앉는다 — 안정성만으로 채점하면 모두가 현금에 숨는다. IR은 이 두 극단 사이에 저울을 놓는다.
왜 하필 표준편차로 나누는가. 두 가지 직관이 있다. 첫째, 같은 평균 수익이라면 변동성이 큰 쪽이 운의 개입 여지가 크다. 널뛰는 성적은 "다음에도 그럴 것"이라는 믿음을 주지 못한다. 둘째, 변동성이 크면 복리 성장 자체가 갉아먹힌다 — 모듈 1의 변동성 드래그(기하 ≈ 산술 − σ²/2)다. 즉 분모의 변동성은 신뢰도와 실질 성장, 양쪽의 대리 지표다.
IR은 위험조정 성과지표의 한 갈래로, 널리 쓰이는 샤프지수와 같은 계열이다. 샤프지수가 무위험수익률 대비 초과수익을 변동성으로 나눈다면, 여기서의 IR은 주간 수익률 자체의 합을 그 표준편차로 나누는 단순화된 형태다. 형태는 달라도 철학은 하나 — 수익의 크기를 수익의 불확실성으로 할인해서 읽는다.
손계산 하나. 주간 수익률이 +2%, 0%, +2%, 0%인 참가자: 합 4%, 평균 1%, 각 주의 편차 +1, −1, +1, −1 → 표준편차 1% → IR = 4 ÷ 1 = 4. 같은 합 4%를 +8%, −4%, +7%, −7%로 만든 참가자: 편차 +7, −5, +6, −8 → 분산 (49+25+36+64)÷4 = 43.5 → 표준편차 ≈ 6.6% → IR ≈ 4 ÷ 6.6 ≈ 0.61. 같은 총수익이 채점상 6배 넘게 벌어진다. 다음 실습에서 직접 확인한다.
IR 계산기
합계가 똑같이 4%인 두 성적표의 IR이 얼마나 벌어지는지 본다. 분모가 하는 일을 눈으로 확인한다.
같은 4%, 다른 점수
꾸준형 vs 널뛰기형 — 4주 수익률 합은 둘 다 4%
목표 — 총수익이 같아도 변동성이 다르면 IR(= 합 ÷ 표준편차)이 몇 배씩 갈린다는 것을 확인한다. 슬라이더는 널뛰기형의 진폭만 조절하며, 4주 합계 4%는 항상 유지된다.
조작 안내 — 진폭 배율을 0에서 2까지 움직여 본다. 배율 1.0이 기본 프리셋(B = +8, −4, +7, −7)이다. 관찰 포인트 — ① 꾸준형 A(+2, 0, +2, 0)는 IR = 4, 기본 널뛰기형 B는 IR ≈ 0.61 — 같은 합 4%가 6배 넘게 벌어진다. ② 배율을 줄일수록 B의 IR이 올라가고, 0에 가까워지면(매주 +1%) 표준편차가 0으로 수렴해 IR이 폭발한다 — 완벽한 꾸준함의 극한이다. ③ 배율을 2로 올려도 합은 여전히 4% — 총수익이 그대로인데 점수만 반토막 이하로 떨어진다. 분모가 하는 일이 바로 이것이다.
이 계산기의 표준편차는 모표준편차(편차 제곱의 평균의 제곱근)다. 표본표준편차(n−1로 나누기)를 쓰면 값이 약간 달라지지만 순위 비교의 결론은 같다. 또 하나 — IR이 "폭발"하는 극한(변동성 0)은 현실에서는 무위험 예금뿐이다. 시장에서 위험 없이 꾸준한 초과수익을 약속하는 성적표가 있다면 IR을 의심하기 전에 사기를 의심해야 한다. 역사상 가장 유명한 "변동성 없는 꾸준한 수익" 성적표는 폰지 사기의 것이었다.
두 트랙, 그리고 왜 점수를 섞지 않는가
예측 실력과 투자 실력은 거의 별개의 능력이다. 그래서 트랙을 둘로 나누고, 점수가 아니라 순위를 평균한다.
정답을 찍지 말고, 불확실성의 분포를 적어 내라
투자 트랙과 별도로, 예측 트랙(선택 참가)은 각 종목이 다음 주 수익률 5분위 중 어디에 들지를 확률로 제출해 RPS라는 지표로 채점받는다.
분위(quantile)란 전체를 크기 순으로 세워 같은 수로 나눈 구간이다. 5분위면 하위 20%, 20~40%, …, 상위 20%의 다섯 구간. 제출물의 모양은 이렇다 — 30개 종목 각각에 대해 "다음 주 수익률이 30종목 중 하위 20%에 들 확률 10%, 그다음 구간 20%, …" 하는 식으로 다섯 확률(합계 1)을 적어 낸다. 정답 하나를 찍는 것이 아니라 불확실성의 분포를 적어 내는 것이 핵심이며, 자신 없는 종목에는 확률을 고르게 펴는 것이 정직한(그리고 채점상 유리한) 답이다. RPS의 계산은 M6 대회 모듈에서 손으로 직접 해 본다.
"자신 없으면 고르게 펴라"는 채점 규칙의 중요한 미덕이다. 확률로 제출받고 확률의 품질로 채점하면, 허세(모든 확률을 한 구간에 몰기)는 틀렸을 때 큰 벌점으로 돌아오고, 정직한 불확실성 표현이 장기적으로 이긴다. 일기예보가 "비 올 확률 70%"라고 말하는 것과 같은 원리 — 좋은 채점 규칙은 참가자가 자기 믿음을 그대로 적어 내게 만든다.
점수가 아니라 순위를 평균하는 이유
종합 순위는 두 트랙 순위의 평균이다(듀애슬론 방식). 점수를 직접 섞지 않는 데는 두 가지 이유가 있다 — 단위가 다르고, 극단값에 취약하기 때문이다.
| 참가자 | 투자 트랙 순위 | 예측 트랙 순위 | 순위 평균 | 종합 |
|---|---|---|---|---|
| 갑 | 1위 | 3위 | 2.0 | 2위 |
| 을 | 2위 | 1위 | 1.5 | 우승 |
| 병 | 3위 | 2위 | 2.5 | 3위 |
한 트랙의 압도적 1위보다 두 트랙의 고른 상위권이 유리한 구조다. IR과 RPS는 단위가 달라 점수를 직접 더하면 한쪽이 계산을 지배한다. "표준화(평균 0, 표준편차 1)해서 더하면 되지 않나"라는 아이디어도 자주 나오지만, 표준화는 극단값에 여전히 취약하다 — 한 명이 도박으로 IR을 폭발시키면 표준화된 점수도 함께 끌려간다. 순위는 그런 극단값을 "1위"라는 한 칸으로 눌러 담기 때문에 훨씬 강건하다. 정보를 조금 버리는 대신 조작과 우연에 둔감해지는 거래이고, 대회 채점에서는 대개 남는 장사다.
트랙을 둘로 나눈 직접적 근거는 M6의 실증 발견이다. 참가팀들의 예측 점수(RPS) 순위와 투자 점수(IR) 순위의 상관이 약 0.04 — 사실상 무관 — 으로 보고되었다. 예측 실력과 투자 실력은 거의 별개의 능력이었다는 뜻이다.
예측과 투자가 거의 무관하다는 발견은 곱씹을수록 의미심장하다. 시장을 잘 맞히는 것과 그 예측을 수익으로 바꾸는 것 사이에는 포지션 크기 조절, 위험 관리, 비용 통제라는 별도의 기술이 놓여 있다. 예측이 조금 틀려도 위험 관리로 살아남는 참가자가, 예측은 좋은데 집중 투자로 무너지는 참가자를 이기는 일이 흔하다. 이 강의 후반부가 예측(모델링)과 포트폴리오 구성(운용)을 별도 모듈로 나누어 다루는 이유이기도 하다.
상관 0.04라는 숫자를 읽을 때의 주의 하나 — 상관은 −1(정반대)에서 +1(완전히 같이)까지의 척도이고 0.04는 "거의 무관"이지만, 상관이 낮다는 것이 "예측이 투자에 쓸모없다"는 뜻은 아니다. 예측을 수익으로 바꾸는 변환 과정이 별도의 실력이라는 뜻이다. 대회 설계자들에게도 이 결과는 놀라움이었고, 이 플랫폼이 두 트랙의 순위를 따로 매겨 평균하는 방식을 채택한 직접적 근거가 되었다.
출처 Makridakis, Spiliotis 외, "The M6 forecasting competition: Bridging the gap between forecasting and investment decisions", 2023: arXiv:2310.13357 — 예측·투자 성적의 낮은 상관과 벤치마크 대비 성과의 실증.
퀴즈와 정리
답을 보기 전에 먼저 스스로 답해 본다. 전부 이 모듈 안에서 다룬 내용이다.
룩어헤드를 완벽히 막은 백테스트도 완전히 믿을 수 없는 이유는?
홀드아웃 데이터로 검증해도 선택 편향이 완전히 사라지지 않는 이유는?
전향 평가가 과적합을 "원천 차단"한다고 말할 수 있는 근거는? 그 대가 두 가지는?
주간 수익률이 +3%, +1%, +3%, +1%인 참가자의 IR(합 ÷ 표준편차)은?
1,000개의 서로 무관한 전략을 백테스트해서 최고 성적 하나를 골랐다. 이 성적을 어떻게 읽어야 하는가?
예측왕이 투자왕이 아니라는 실증 증거와, 그것이 채점 설계에 미친 영향은?
① 룩어헤드를 다 막아도 "과거를 여러 번 본 연구자의 선택 편향"은 남는다 — 탐색 자체에 내장된 세금이다.
② 백테스트 성적표는 "몇 번 시도했는가" 없이는 해석할 수 없다. 우연한 천재의 수는 시도 횟수에 선형으로 늘어난다.
③ 홀드아웃은 한 번 쓸 때만 온전하다. 완전한 해법은 전향 평가 — 아직 존재하지 않는 데이터에는 과적합할 수 없다. 백테스트는 예선, 전향 평가가 본선이다.
④ IR의 분모(변동성)는 신뢰도와 복리 성장의 대리 지표다. 같은 총수익도 꾸준함에 따라 점수가 몇 배씩 갈린다.
⑤ 예측 실력과 투자 실력은 거의 별개다(M6: 상관 ≈ 0.04). 단위가 다른 점수는 섞지 말고 순위로 결합한다.
참고문헌
수치와 실증 결과는 아래 원문 기준으로 서술했다. 링크는 공개 원문이 확실한 것만 달았다.
백테스트 과적합 · 선택 편향
- Bailey, D., Borwein, J., López de Prado, M. & Zhu, Q. J. (2014). "Pseudo-Mathematics and Financial Charlatanism: The Effects of Backtest Overfitting on Out-of-Sample Performance." Notices of the AMS 61(5). ams.org/notices/201405/rnoti-p458.pdf — 시도 횟수가 늘면 운만으로도 최고 성적이 부풀려진다는 정식화.
- Bailey, D. & López de Prado, M. (2014). "The Deflated Sharpe Ratio: Correcting for Selection Bias, Backtest Overfitting and Non-Normality." Journal of Portfolio Management 40(5). — 시도 횟수를 감안한 성과 지표 보정.
- White, H. (2000). "A Reality Check for Data Snooping." Econometrica 68(5). — 데이터 스누핑을 감안한 검정의 고전.
- Harvey, C., Liu, Y. & Zhu, H. (2016). "… and the Cross-Section of Expected Returns." Review of Financial Studies 29(1). — 보고된 수백 개 요인과 다중 비교 문제.
전향 평가 · M6 대회
- Makridakis, S., Spiliotis, E. 외 (2023). "The M6 forecasting competition: Bridging the gap between forecasting and investment decisions." arXiv:2310.13357 — 전향 방식 대회 설계, 예측·투자 성적의 낮은 상관, 벤치마크 대비 성과.
이 모듈의 확률 계산(이항분포 56/1024 ≈ 5.47% 등)과 IR 예시는 손계산으로 검증한 수치다. 강의 플랫폼의 채점 규칙 수치(유니버스·상한·비용)는 부록 A 기준이며, 플랫폼 실험 성과는 합성 데이터 기반으로 실제 투자 성과를 시사하지 않는다. M6 관련 서술(상관 ≈ 0.04, 다수 팀의 벤치마크 하회)은 위 논문 기준이고, 인용 원칙: 연도는 발표 기준, 확신이 없는 서술은 "~로 보고되었다/~로 지목되기도 한다"로 구분했다.