Optiver 대회 —
마지막 10분의 승부

마감 10분 전, 주문이 쏟아지기 시작한다

2023년 겨울 어느 오후, 미국 동부 시간 3시 50분. 나스닥의 하루가 끝나기 10분 전이 되면 인덱스펀드와 ETF의 대량 주문이 한꺼번에 밀려들기 시작한다. 이 주문들을 한데 모아 단일 가격으로 일괄 체결해 공식 종가를 정하는 절차가 종가경매다. 마켓메이커 Optiver는 바로 이 10분을 무대로 Kaggle에 예측 대회를 열었고, 4,436팀이 뛰어들었다.

결과는 뜻밖이었다. 우승자는 수십 명의 팀이 아니라 솔로 참가자였고, 그의 무기는 비밀 병기 하나가 아니라 문제의 구조를 정확히 읽어 낸 몇 가지 설계의 조합이었다. 그중 가장 단순한 것은 놀랍게도 뺄셈 — 전 종목 예측값에서 평균을 빼는 후처리였다. 왜 뺄셈 하나가 세계 최고 수준의 대회에서 무기가 되는가. 그 답이 이 모듈의 줄기다.

앞 모듈들에서 배운 도구 — 피처 만들기, 검증, 전향 평가 — 가 세계 최고 수준의 실전에서 어떻게 조립되는지를 보는 사례 연구이기도 하다.

종가경매 — 유동성이 폭발하는 10분

나스닥은 매일 장을 닫을 때 마지막 10분간 사자·팔자 주문을 한데 모아, 하나의 가격에 일괄 체결해 공식 종가를 정한다. 인덱스펀드·ETF는 "종가 기준으로 지수를 따라간다"고 약속한 상품이므로, 추적 오차를 줄이려면 정확히 종가에 사고팔아야 한다 — 그래서 대량 주문이 이 10분에 몰린다.

마켓메이커 입장에서는 "곧 결정될 종가가 지금 가격보다 위인가 아래인가"를 남보다 조금이라도 잘 맞히는 것이 곧 수익이다. 대회가 제공한 데이터도 이 시간대 특유의 것들이었다 — 경매에 쌓인 매수·매도 주문의 쏠림(주문 불균형)과 초 단위로 갱신되는 참고 가격. 대회의 질문은 "지금부터 60초 뒤, 이 종목의 공정가격은 시장 평균 대비 얼마나 움직일까"였다.

출처 Optiver — Trading at the Close, Kaggle (2023–24): kaggle.com/competitions/optiver-trading-at-the-close · 나스닥 종가경매(Closing Cross) 제도는 Nasdaq 공식 문서 기준.

MAE가 "이상치에 강하다"는 말의 뜻

세 번의 예측 오차가 +1, −2, +3이었다고 하자. MAE는 (1+2+3)÷3 = 2.0, MSE는 (1+4+9)÷3 ≈ 4.67이다. 여기에 크게 빗나간 네 번째 오차 +20이 추가되면 두 지표의 반응이 갈린다.

MSE로 학습한 모델은 이 한 번의 극단값을 줄이는 데 온 힘을 쏟게 되고, MAE로 학습한 모델은 "대다수 평범한 시점"을 고르게 잘 맞히는 쪽을 택한다. 급등락이 일상인 금융 데이터에서 대회 주최 측이 MAE를 채점 기준으로 고른 이유다.

최종 채점은 "아직 존재하지 않는 3개월"로

최종 순위는 대회 종료 후 3개월간의 진짜 미래 데이터로 확정했다. 리더보드에 과적합한 팀은 이 구간에서 걸러졌다 — 전향 평가를 대회 규칙으로 기계화한 셈이다.

이 장치가 왜 필요한지는 캐글의 오랜 경험이 말해 준다. 대회 기간 중 공개 리더보드는 참가자가 하루에도 몇 번씩 제출하며 점수를 확인하는 구조라, 수천 팀이 수만 번 제출하다 보면 누군가는 "리더보드 채점용 데이터의 우연한 무늬"에 딱 맞는 답안을 만들어 낸다. 이것은 실력이 아니라 다중비교의 함정(부록 B) 그 자체다. 아직 존재하지 않는 미래 3개월로 최종 채점을 하면 이 꼼수가 원천적으로 불가능해진다 — 미래 데이터에는 아무도 미리 맞춰 볼 수 없기 때문이다.

실제로 공개 리더보드 상위권 중 상당수가 최종 구간에서 순위가 크게 밀린 것으로 알려져 있다.

출처 대회 일정·채점 규정: Kaggle 대회 페이지 Overview/Timeline — kaggle.com/competitions/optiver-trading-at-the-close

상대화 · 온라인 학습 · 제로-민 · 이종 앙상블

4,436팀 중 1위는 거대한 팀이 아니라 솔로 참가자였다. 그의 솔루션은 비밀 병기 하나가 아니라, 문제의 구조를 정확히 읽어 낸 설계 네 가지의 조합이었다.

마지막 줄이 흥미롭다. 트리 모델 하나만으로도 1위권이었다는 것은, 승부처가 모델의 화려함이 아니라 피처와 학습 체계였다는 뜻이다.

출처 우승 솔루션 공개 글과 상위권 해법 논의: Kaggle 대회 Discussion — kaggle.com/competitions/optiver-trading-at-the-close/discussion

순위로 바꾸면 "시장의 온도"가 사라진다

"이 종목의 주문 불균형이 +5억 원"이라는 절대값은 그 자체로 해석이 어렵다. 시장 전체가 매수 우위인 날이라면 평범한 수준이고, 시장이 조용한 날이라면 강한 신호다. 목표가 "시장 대비"이므로, 정말 필요한 정보는 "다른 종목들에 비해 얼마나 두드러지는가"다.

시장 전체가 과열되어 모든 값이 10배가 되어도 순위는 그대로다. 절대값 피처는 "시장 전체의 온도"에 따라 분포가 요동치지만, 순위 피처는 어떤 날에도 같은 눈금을 유지한다 — 비정상성(k-NN 아날로그 모듈에서 다룬 문제)에 대한 훌륭한 방어이기도 하다.

제로-민 후처리는 왜 공짜 점심인가

어느 시점 전 종목의 목표값(시장 평균 대비 이동)을 모두 합하면, 정의상 "평균 대비" 편차의 합이므로 0에 가깝다. 그런데 모델의 예측값 평균은 학습 노이즈 때문에 0이 아니라 어떤 값 \(m\)으로 치우치곤 한다.

이때 모든 예측에서 \(m\)을 빼 주면(제로-민), 정답이 반드시 만족하는 성질을 예측도 만족하게 된다. 데이터를 더 쓰는 것도, 모델을 키우는 것도 아니고, 문제의 정의에서 논리적으로 따라 나오는 제약을 출력에 부과하는 것뿐이다. 그래서 비용 없이 오차만 줄어드는, 드문 "공짜 점심"이다.

• 일반화 — 정답이 반드시 만족하는 수학적 성질(합이 0, 확률의 합이 1, 음수 불가 등)을 안다면, 모델 출력을 그 성질에 맞게 사후 보정하는 것은 거의 언제나 이득이다
• 수렴의 증거 — 상위권 여러 팀이 서로 모른 채 같은 결론(상대화 + 온라인 학습 + 제로-민)에 도달했다

공통 성분을 지우는 뺄셈

식재료는 못 가져와도 요리법은 가져온다

이 대회의 수익 원천(알파)은 경매 특유의 초단기 데이터 — 주문 불균형과 60초 단위 가격 — 에 있다. 하루 단위 데이터에는 그 정보 자체가 존재하지 않는다. 즉 알파는 이식 불가다. 반면 문제를 푸는 방식 — 상대 목표 정의, 피처 상대화, 제로-민, 주기적 재학습, MAE 손실 — 은 데이터가 달라도 옮길 수 있다. 방법론은 이식 가능하다.

요리에 비유하면 알파는 "그 지역에서만 나는 식재료"이고 방법론은 "칼질과 불 조절"이다. 식재료는 가져올 수 없어도 요리법은 어느 부엌에서나 통한다.

인샘플 +27.2는 성능이 아니라 경고다

이 강의 플랫폼의 재현 모듈은 방법론만 하루 단위 데이터로 옮겼고, 알파가 없는 합성데이터에서 인샘플 +27.2 → OOS(표본 외) −3.97이라는 결과를 얻었다(이 플랫폼의 합성데이터 실험 실측치).

이 실험의 논리를 정리하자. 정보가 전혀 없는 합성데이터를 넣었으니, 올바른 파이프라인이라면 OOS에서 성과가 0 근처로 무너져야 한다. 실제로 −3.97로 무너졌다 — 파이프라인은 정직하게 작동한다. 동시에 인샘플에서는 +27.2라는 화려한 숫자가 나왔다 — 이 정도로 강력한 도구는 아무 정보가 없어도 훈련 데이터의 노이즈를 통째로 외워 그럴듯한 성과를 "만들어 낼" 수 있다.

누군가 인샘플 성과표만 들고 와 투자를 권한다면, 이 실험 하나가 왜 그것을 믿으면 안 되는지에 대한 살아 있는 증거가 된다. 백테스트의 한계 모듈의 과적합 경고를 우리 손으로 재확인한 셈이다.