K-means 군집화 —
시장의 계절을 나누다

"지금이 무슨 장입니까"라는 질문에 아무도 같은 답을 하지 않았다

2020년 3월 19일, 코스피는 1,457까지 밀렸고 그 달에만 매매를 일시 중단시키는 서킷브레이커가 두 차례 발동됐다. 뉴스는 "약세장 진입"을 말했다. 그런데 불과 두 달 뒤, 같은 화면 앞의 사람들은 "강세장"을 말하고 있었다. 도대체 하락장은 언제 시작해서 언제 끝난 것일까.

사후적으로야 "2020년 3월은 폭락장이었다"고 말할 수 있다. 그러나 그 판정조차 기준이 제각각이다. 고점 대비 20% 하락을 약세장이라 부르는 관례가 있지만 왜 20%인지 근거는 없고, 시작일과 종료일을 어디로 잡을지도 사람마다 다르다. 레짐(시장 국면)은 애초에 누군가 정의해 둔 정답이 존재하지 않는 개념이다. 억지로 라벨을 만들어 지도학습을 시키면, 그 라벨에 들어간 자의적 기준이 그대로 모델의 한계가 된다.

그래서 이 모듈은 발상을 뒤집는다. 라벨을 사람이 만들어 주입하는 대신, 데이터가 스스로 뭉치는 모양을 먼저 보고 나중에 이름을 붙인다. 지금까지 기계에게 "정답 맞히는 법"을 가르쳤다면, 이제 정답 없이 "데이터의 생김새 자체"를 읽게 한다. 도구는 K-means라는 고전 하나면 충분하다.

정답을 보고 배우기 vs 생김새를 읽기

팩터 랭킹 모듈과 메타레이블링 모듈은 모두 정답(다음 주 수익률, 신호의 성패)을 보고 배우는 지도학습이었다. "지금 시장이 어떤 국면인가"에는 그런 정답 라벨이 없다 — 이럴 때 쓰는 것이 비지도 학습, 그중에서도 비슷한 것끼리 뭉치게 하는 군집화(clustering)다.

표의 마지막 두 줄이 실전의 핵심이다. 지도학습은 틀리면 오차로 바로 드러나지만, 군집화에는 그런 자동 채점기가 없다. 결과가 그럴듯해 보여도 유용하다는 보장은 어디에도 없으므로, 해석과 검증의 책임이 고스란히 사람에게 남는다. 오토인코더 모듈이 정답 없이 "좋은 요약"을 배웠다면, 군집화는 정답 없이 "자연스러운 무리"를 찾는다 — 같은 비지도 학습의 두 얼굴이다.

계절이 "저절로" 나뉘는 것은 좌표를 잘 골랐기 때문이다

기온·강수량·일조량을 매일 기록해 점으로 찍으면, 아무도 라벨을 붙이지 않아도 점들은 몇 개의 덩어리로 뭉친다. 우리는 그 덩어리에 나중에 "여름", "겨울"이라는 이름을 붙일 뿐이다. 시장도 같다 — 수익률·변동성·추세 지표를 좌표로 쓰면, 조용한 상승의 날들과 요동치는 하락의 날들은 서로 다른 곳에 뭉친다.

이 비유에서 놓치기 쉬운 대목이 하나 있다. 계절이 저절로 나뉘는 것처럼 보이는 이유는 우리가 기온과 일조량이라는 좋은 좌표를 골랐기 때문이다. 만약 "그날 뉴스 기사 개수"와 "지하철 승객 수"를 좌표로 썼다면 여름과 겨울은 뭉개져 섞였을 것이다. 군집화에서 "비슷하다"의 정의는 전적으로 어떤 피처를 좌표로 쓰느냐에 달려 있다. 알고리즘은 주어진 공간에서 거리를 잴 뿐, 어떤 공간이 의미 있는지는 말해 주지 않는다.

시장 레짐을 나눌 때 수익률과 변동성을 피처로 고르는 순간, 우리는 이미 "레짐이란 수익률과 변동성으로 구분되는 것"이라는 가설을 심은 셈이다. 비지도 학습이라고 해서 사람의 판단이 빠지는 것이 결코 아니다. 판단이 라벨에서 좌표 선택으로 자리를 옮겼을 뿐이다.

가까운 중심으로 모이고, 중심은 평균으로 옮긴다

가장 널리 쓰이는 군집화 알고리즘이 K-means다. 군집 개수 \(k\)를 먼저 정하고, 두 단계를 수렴할 때까지 반복한다. 이름 그대로 "k개의 평균(means)"을 찾는다.

1. 할당(assign) — 각 점을 가장 가까운 중심에 배정한다.
2. 갱신(update) — 각 군집의 중심을 소속된 점들의 평균 위치로 옮긴다.
3. 중심이 더 움직이지 않으면(할당이 더 바뀌지 않으면) 끝이다.

이 반복이 왜 항상 좋아지기만 할까. 두 단계가 각각 같은 양 — 각 점에서 자기 중심까지의 거리 제곱을 전부 더한 군집 내 거리 제곱합(WCSS, inertia) \( \sum_i \lVert x_i - c_{a(i)} \rVert^2 \) — 을 줄이거나 최소한 유지하기 때문이다. 할당 단계에서 점을 더 가까운 중심으로 옮기면 그 점의 거리 제곱은 당연히 줄어든다. 갱신 단계에서 중심을 평균으로 옮기는 것은, "점들과의 거리 제곱합을 최소로 만드는 한 점은 평균"이라는 수학적 성질 덕분에 역시 제곱합을 줄인다. 줄기만 하고 0 밑으로는 못 내려가는 양이므로 반복은 반드시 멈춘다. 다만 멈춘 곳이 전체에서 가장 좋은 답이라는 보장은 없다 — 바로 아래에서 확인한다.

출처 Lloyd, S. P. (1957년 작성, 1982년 출판). "Least Squares Quantization in PCM." IEEE Transactions on Information Theory 28(2). doi:10.1109/TIT.1982.1056489 · MacQueen, J. (1967). "Some Methods for Classification and Analysis of Multivariate Observations." Proc. 5th Berkeley Symposium.

손으로 굴려 보는 K-means — 그리고 초기값이 가르는 운명

1차원 점 5개면 전 과정을 손으로 따라갈 수 있다. 일일 수익률 −3, −2, 0, +2, +3(%)에 \(k=2\), 초기 중심을 −3과 +2에 두자.

같은 데이터, 같은 \(k\)인데 초기 중심에 따라 0의 소속 — 곧 경계 — 이 달라졌다. 이 예시는 데이터가 좌우 대칭이라 우연히 점수가 같은 두 답이 나왔지만, 실제 데이터에서는 초기값에 따라 제곱합이 크게 다른 국소해에 멈추는 일이 흔하다. 그래서 실무에서는 초기값을 바꿔 여러 번 돌리고 제곱합이 가장 작은 결과를 채택한다.

단위를 맞추지 않으면 거래량이 거리를 독점한다

두 가지 실무 감각이 필요하다. 첫째, 거리를 재려면 단위를 맞춰야 한다. 둘째, \(k\)는 알고리즘이 아니라 사람이 정한다.

어느 날 A는 수익률 +2%, 거래량 500만 주였고, 날 B는 수익률 −2%, 거래량 505만 주였다고 하자. 원 단위 그대로 거리를 재면 수익률 차이는 4, 거래량 차이는 50,000이다. 거리의 사실상 전부가 거래량에서 나오고, 수익률 부호가 정반대라는 결정적 차이는 소수점 아래로 사라진다. 그래서 페어트레이딩 모듈의 z-값, k-NN 모듈의 z-정규화와 정확히 같은 이유로, 각 피처를 표준화(평균 0, 표준편차 1)한 뒤 거리를 잰다. 손계산 하나 — 최근 5일 수익률이 −1, 0, +1, +2, +3(%)이고 오늘이 +3이면, 평균 +1, 표준편차 \( \sqrt{2} \approx 1.41 \)이므로 오늘의 z-값은 (3−1)/1.41 ≈ +1.41, "평균보다 표준편차 1.4개만큼 높은 날"이다.

\(k\)는 늘릴수록 군집 내 거리가 기계적으로 줄므로 "많을수록 좋다"가 아니다. 극단을 생각하면 자명하다 — \(k\)를 데이터 개수만큼 늘리면 모든 점이 자기 자신을 중심으로 갖는 군집이 되어 제곱합은 0이 된다. 완벽한 점수지만 아무것도 요약하지 못한 무의미한 답이다. 전향 평가 모듈의 과적합과 같은 구조로, 지표를 기계적으로 좋게 만드는 방향과 쓸모 있는 모델의 방향은 다르다. 관례는 \(k\)를 하나씩 늘리며 개선 폭이 급격히 꺾이는 지점(팔꿈치)을 찾는 엘보 방법이고, 시장 레짐 용도로는 해석 가능한 2~4가 보통이다.

출처 Rousseeuw, P. J. (1987). "Silhouettes: A Graphical Aid to the Interpretation and Validation of Cluster Analysis." J. Computational and Applied Mathematics 20. doi:10.1016/0377-0427(87)90125-7 · Arthur, D. & Vassilvitskii, S. (2007). "k-means++: The Advantages of Careful Seeding." SODA 2007. theory.stanford.edu (PDF)

버튼 한 번 = 반복 한 사이클

날마다 시장의 상태를 요약하고, 뭉치게 하고, 이름 붙인다

절차는 세 단계다. ① 피처 만들기 — 날짜마다 시장 상태를 요약하는 숫자들을 계산한다. ② 표준화 후 K-means — 예컨대 \(k=3\)으로 군집화한다. ③ 해석과 명명 — 각 군집의 평균 피처를 보고 사람이 이름을 붙인다.

서로 다른 각도의 요약을 함께 좌표로 써야 "조용히 오르는 날"과 "요동치며 오르는 날"처럼 방향은 같아도 체질이 다른 국면이 분리된다. 반대로 거의 같은 정보를 담은 피처를 여럿 겹쳐 넣으면(예: 5일 수익률과 6일 수익률) 그 방향의 거리만 이중으로 세어져 군집이 그쪽으로 왜곡된다. 피처 목록은 길수록 좋은 것이 아니라 서로 다른 정보일수록 좋다.

군집 번호에는 이름이 없다

군집 번호는 그냥 0, 1, 2다. "상승장"이라는 이름은 사람이 사후에 붙인 해석이고, 데이터를 바꿔 다시 돌리면 번호는 뒤섞인다. 이름이 아니라 군집의 평균 피처(수익률·변동성)가 본질이다.

이것은 실무에서 실제로 사고가 나는 지점이다. 어제까지 "군집 0 = 상승장"이던 코드가, 데이터를 하루 늘려 재학습하자 같은 성격의 군집이 번호 2를 달고 나오는 일은 흔하다(초기화의 무작위성 때문이다). 번호를 하드코딩해 "군집 0이면 매수"라고 짜 두었다면 전략은 조용히 반대로 뒤집힌다. 안전한 습관은 재학습 때마다 군집들의 평균 수익률을 비교해 가장 높은 군집을 "상승", 가장 낮은 군집을 "하락"으로 매번 다시 명명하는 것이다. 번호가 아니라 성격으로 식별한다.

레짐을 나눴다면 전략은 자연스럽다 — 상승 군집에서는 공격(모멘텀 매수), 하락 군집에서는 방어(현금·저변동), 횡보 군집에서는 보유 또는 평균회귀. 레짐 앙상블 모듈이 이 발상을 확률 배합으로 다듬는다.

미래가 스며드는 문은 두 개다

이 단순한 방법에도 이 강의의 제1 규칙이 그대로 적용된다. 전체 기간 데이터로 스케일러와 군집 중심을 한 번에 학습하면 룩어헤드다. 2020년의 어느 날을 "하락장"으로 분류할 때 쓰인 군집 중심이 2024년까지의 데이터로 계산된 것이라면, 그 분류에는 미래가 스며들어 있다.

올바른 방법은 확장 윈도 재학습이다. 매 시점 \(t\)에서 \(t\)까지의 데이터만으로 평균·표준편차·군집 중심을 전부 다시 계산해 그날 하루만 분류하고, 다음 날 또다시 계산한다. 번거롭고 초기 구간은 데이터가 적어 군집이 불안정하지만, 이것이 "그 시점에 실제로 알 수 있었던 것"의 정직한 재현이다. K-means는 계산이 가벼워 매일 재학습해도 부담이 거의 없다는 점이 이 방식과 잘 맞는다.

수십 개의 조합, 그리고 "묘사"를 "예측"으로 착각하기

둘째 함정은 자유도다. 피처 선택, \(k\), 표준화 방식의 조합이 수십 가지이고, 과거에 가장 그럴듯한 조합 하나를 골라 보고하면 전향 평가 모듈의 선택 편향이 그대로 재현된다. 셋째, 군집은 원인을 말해 주지 않는다 — 군집화는 묘사이지 예측이 아니다.

"묘사이지 예측이 아니다"를 한 번 더 눌러 두자. 오늘을 하락 군집으로 분류했다는 것은 "오늘이 과거의 하락일들과 닮았다"는 뜻일 뿐이다. 이 정보가 돈이 되려면 "하락 군집에 속한 날의 다음 날 수익률 분포가 실제로 다르다"는 별도의 사실이 성립해야 하고, 그것은 군집화가 아니라 시점별 재학습으로 만든 라벨을 놓고 OOS(표본외)에서 따로 검증해야 할 명제다. 흔한 착각 하나 더 — 군집이 예쁘게 나뉘었다(제곱합이 작다)는 것과 그 군집이 투자에 유용하다는 것은 완전히 별개다. 전자는 기하학의 성적표이고, 후자는 경제적 가설의 성적표다.

자유도 함정의 실용적 방어책도 지도학습 때와 같다. 피처 목록·\(k\)·표준화 방식을 백테스트 성과를 보기 전에 근거를 들어 고정하고, 시도한 조합의 개수를 정직하게 기록하며, 최종 후보 하나만 아껴 둔 OOS 구간에서 단 한 번 평가한다.

어제를 기억하지 못하는 분류기

K-means 레짐에는 본질적 한계가 있다. 오늘의 라벨은 오늘 좌표와 중심 사이의 거리만으로 정해진다. "어제까지 상승장이었다"는 사실은 전혀 반영되지 않고, 라벨이 하루 만에 튀어도 막을 장치가 없다. 그런데 실제 시장 국면은 끈끈하다 — 강세장은 몇 달씩 이어지고, 약세장도 하루 만에 끝나지 않는다.

데이터의 눈으로 보면 이렇다. K-means에게 날짜는 순서 없는 점 구름일 뿐이어서, 데이터를 시간순으로 넣든 뒤섞어 넣든 결과가 완전히 같다. 시계열을 다루면서 시간을 통째로 버리는 셈이다. 또 하나, K-means의 답은 "무조건 한 군집"이라는 딱딱한 라벨이다. 중심 두 개의 정확히 중간에 있는 애매한 날도, 중심에 딱 붙은 확실한 날과 똑같이 한 표를 받는다. "60%쯤 상승장 같다"는 회색을 표현할 언어가 없으니, 경계 부근에서 라벨이 덜컹거리고 그때마다 전략이 매수·매도를 오가며 거래비용(모듈 1)을 갉아먹는다.

이 시간의 구조(국면의 지속성, 전환 확률)를 정면으로 모형화하는 것이 다음 모듈의 은닉 마르코프 모형(HMM)이다. 딱딱한 라벨 대신 "오늘이 강세일 확률 P"라는 연속량을 주기 때문에, 배합 전략(레짐 앙상블 모듈)으로도 자연스럽게 이어진다.