CNN 차트패턴,
패턴 도장 찍기

헤드앤숄더를 수식으로 정의한 논문

2000년, 금융학 최고 권위지 Journal of Finance에 이례적인 논문이 실렸다. MIT의 연구진이 "헤드앤숄더", "쌍바닥" 같은 차트패턴 — 오랫동안 학계가 점성술 취급해 온 기술적 분석의 어휘 — 을 수식으로 정의하고, 1962년부터 1996년까지 미국 주식 데이터에서 자동 탐지해 통계 검정에 올린 것이다.

결론은 양쪽 모두를 놀라게 했다. 일부 패턴이 나타난 뒤의 수익률 분포는 그렇지 않을 때와 통계적으로 달랐다 — 패턴 속에 정보가 0은 아니었다. 그러나 논문은 그것이 거래비용을 이기고 돈이 된다는 뜻은 아니라고 못 박았다. 이 신중한 결론보다 더 오래 남은 것은 방법이다. "내 눈에는 쌍바닥으로 보인다"는 주관을, 누가 돌려도 같은 답이 나오는 알고리즘으로 바꾼 것.

이 모듈은 그 문제의식을 현대적 도구로 다시 푼다. 사진에서 고양이를 찾는 CNN의 핵심 연산인 합성곱(convolution)은 작은 "패턴 도장"을 데이터 위에 밀며 닮은 정도를 찍는 연산이고, 1차원 가격 궤적에도 그대로 적용된다. 그리고 놀랍게도, 그 도장을 학습조차 하지 않고 무작위로 찍어 버리는 ROCKET이라는 지름길이 실전에서 잘 통한다.

출처 Lo, Mamaysky & Wang, "Foundations of Technical Analysis", Journal of Finance 55(4), 2000. NBER Working Paper 7613

내적 — 닮음을 재는 한 줄 계산

내적(inner product)은 두 숫자열을 자리끼리 곱해 모두 더한 값이다. \( (1,2)\cdot(3,4) = 1\times3 + 2\times4 = 11 \). 두 숫자열이 같은 자리에서 같은 부호로 클수록 값이 커지므로, 내적은 닮음 점수로 쓸 수 있다.

합성곱(convolution)은 작은 "패턴 도장" — 필터(filter) 또는 커널(kernel)이라 부른다 — 을 데이터 위에서 한 칸씩 밀며, 겹치는 구간과 도장의 내적을 찍는 연산이다. 예컨대 길이 9의 숫자열 (−1, −1, 0, +1, +2, +1, 0, −1, −1)은 "가운데가 봉긋 솟은 모양"에 크게 반응하는 도장이다. 미니 예제로 확인해 보자. 데이터가 (1, 3, 1, 0)이고 도장이 봉우리 탐지기 (−1, +2, −1)이라면:

데이터의 두 번째 자리, 즉 3이 솟아 있는 곳에서 반응이 크고, 봉우리가 아닌 곳에서는 작거나 음수다. 도장이 정말 "자기와 닮은 모양"의 위치를 찾아냈다. 사진에서 고양이를 찾는 CNN은 "귀 모양 탐지기", "수염 모양 탐지기" 같은 작은 필터 수백 개로 이미지를 훑는데, 각 필터가 하는 일이 정확히 이것이다. 이 모듈은 같은 연산을 2차원 이미지 대신 1차원 가격 궤적에 적용한다.

특징 맵 — 반응값의 시계열, 그리고 작은 도장이 이기는 이유

길이 30의 가격 궤적 위에 길이 9의 도장을 맨 왼쪽부터 끝까지 한 칸씩 밀면 반응값이 30 − 9 + 1 = 22개 나온다. 이 나열이 특징 맵(feature map)이다. 원래 데이터가 "가격의 시계열"이라면 특징 맵은 "특정 패턴 출현 강도의 시계열"이다.

왜 하필 작은 도장일까. 고양이 사진 전체를 통째로 외우는 탐지기는 그 사진에만 반응하고 다른 고양이는 놓친다. 반면 "뾰족한 귀"라는 작은 조각 탐지기는 귀가 사진 어디에 있든, 어떤 고양이든 반응한다. 패턴은 국소적으로 반복되기 때문에 작은 조각을 찾는 탐지기가 훨씬 일반화가 잘 된다. 가격 차트도 마찬가지다. "20일 전체가 어제와 똑같은 날"은 다시 오지 않지만, "3일간 급락 후 반등"이라는 조각은 여기저기서 반복해 나타난다. k-NN 아날로그 모듈이 "20일 전체가 통째로 닮은 과거"를 찾았다면, 합성곱은 그 안의 국소 패턴 조각(3~11일짜리 모양)이 언제 얼마나 나타났나를 잰다. 보는 단위가 다르다.

커널을 밀면 반응 곡선이 그려진다

필터를 학습하지 않고 무작위로 찍어 고정한다

보통 CNN은 필터를 역전파로 학습하는데, 데이터가 많이 필요하고 계산도 무겁다. ROCKET(Dempster 외, 2020)은 대담한 지름길을 택했다 — 필터를 그냥 무작위로 만들어 고정해 버린다.

어떻게 무작위가 통할까. 복권의 논리다. 복권을 100장 사면 몇 장은 당첨되듯, 무작위 도장을 충분히 많이 찍으면 그중 일부는 데이터의 진짜 패턴과 우연히 닮아 있다. 마지막 단계의 단순한 선형 회귀가 "어떤 도장의 반응이 예측에 유용한지"만 골라 가중치를 주면 된다. 이 단순한 방법이 시계열 분류 벤치마크들에서 정식 학습 CNN에 필적하는 정확도를 몇 자릿수 빠른 속도로 달성해 유명해졌다.

이 분업이 금융 데이터에서 특히 매력적인 이유가 있다. 역전파로 필터를 학습하려면 수만 개의 매개변수를 조정해야 하는데, 신호 대 잡음비가 극히 낮은 주가 데이터에서 이는 잡음을 외울 자유도를 잔뜩 주는 일이다(과적합). ROCKET은 조정 가능한 부분을 마지막 회귀 계수로 제한해 버린다. 외울 수 있는 것이 적으니 망가질 수 있는 것도 적다. 계산이 빠르다는 것도 덤이 아니라 본질적 장점이다 — 수백 종목 × 수천 날짜의 워크포워드 검증을 노트북에서 몇 분 만에 돌릴 수 있으니, 전향 평가 모듈에서 강조한 "검증을 아끼지 말라"는 원칙을 지키기 쉬워진다.

출처 Dempster, Petitjean & Webb, "ROCKET: Exceptionally fast and accurate time series classification using random convolutional kernels", Data Mining and Knowledge Discovery 34, 2020. arXiv:1910.13051

max와 ppv — 강도와 빈도, 그리고 릿지라는 채점기

각 도장의 반응 곡선에서 두 가지 요약값만 남긴다. 관찰 구간 안에서의 최대 반응(max)은 그 패턴이 얼마나 뚜렷하게 나타났나를, 양수 반응의 비율(ppv)은 얼마나 자주 나타났나를 말해 준다. 강도와 빈도라는 서로 다른 정보다.

손계산으로 확인하자. 어떤 도장을 밀어 얻은 반응값이 (−2, 5, 1, −1, 3)이라면 max = 5(가장 뚜렷했던 순간의 강도), 양수는 5, 1, 3의 세 개이므로 ppv = 3/5 = 0.6(관찰 기간의 60%에서 이 패턴이 나타났다).

max는 첫 종목이 높지만 ppv는 둘째 종목이 높다 — 어느 쪽이 예측에 유용한지는 사람이 아니라 릿지 회귀(ridge regression)가 데이터로 판단한다. 릿지는 선형 회귀에 "가중치가 너무 커지지 않게" 벌점을 더한 버전으로, 도장 100개 × 2 = 200개의 요약값을 넣어 향후 5일 수익률을 예측하고 상위 종목을 사는 것이 이 모듈의 전략이다.

60만 원짜리 주식에만 반응하는 자는 자가 아니다

도장 숫자들의 평균을 0으로 맞춘다. 평균이 0이 아닌 도장, 예컨대 (1, 1, 1)은 모양과 무관하게 가격이 높기만 하면 내적이 커진다 — 60만 원짜리 주식이 6천 원짜리 주식보다 항상 큰 반응을 내는 자는 모양을 재는 자가 아니다.

평균을 0으로 맞추면 데이터에 상수를 더해도 반응이 변하지 않으므로, 도장은 순수하게 오르내림의 모양에만 반응한다. 실습의 커널 3종이 모두 합이 0이었던 이유다. 둘째 디테일은 팽창(dilation)이다. 도장의 숫자 사이 간격을 벌려 데이터를 듬성듬성 건너뛰며 읽게 하면, 길이 9의 도장을 간격 2로 팽창했을 때 실제로는 17일에 걸친 느린 패턴을 보게 된다. 도장 길이를 늘리지 않고 시야만 넓히는 요령이다. 그리고 합성곱과 요약(max·ppv) 모두 "오늘로 끝나는 과거 창"만 쓰는 인과적 계산이라 룩어헤드가 없다.

• 평균 0 — 가격 수준이 아니라 모양에만 반응 (수준 불변)
• 팽창 — 같은 길이의 도장으로 더 긴 주기의 패턴까지 (시야 확장)
• 인과적 창 — 미래 데이터가 계산에 들어올 통로가 없다 (룩어헤드 차단)

출처 Dempster, Schmidt & Webb, "MiniRocket: A Very Fast (Almost) Deterministic Transform for Time Series Classification", KDD, 2021. arXiv:2012.08791

사이클을 심고, 무작위 도장으로 수확하다

이 강의 플랫폼의 합성데이터 실험에서, 주기적 사이클을 일부러 심은 양성 대조군에 대해 채점 지표가 인샘플 10.42 → OOS(표본 외) 9.33으로 유지됐다. 심은 패턴을 수확한 것이다.

이 결과를 한 겹 뜯어 보자. 사이클은 "일정 길이의 오르내림 조각"이 반복되는 신호이므로, 국소 조각을 재는 무작위 도장 중 몇 개는 반드시 그 조각과 닮아 있고, 릿지가 그들을 골라낸다. 파이프라인이 설계 의도대로 작동한다는 확인이다. 인샘플 10.42가 OOS에서 9.33으로 소폭 내려간 것도 자연스럽다 — 인샘플 수치에는 진짜 신호에 우연의 덤이 살짝 얹혀 있기 마련이라, 정직한 모형이라도 OOS에서는 약간 내려앉는다. 무너지지 않고 유지되는 것이 핵심이다.

실제 시장의 차트패턴에 예측력이 있는지는 학계의 오래된 논쟁거리다. 도입에서 본 2000년 연구조차 "일부 패턴에 정보가 있다"까지만 확인했다. 대조군 통과와 실시장 알파는 별개라는, 이 강의의 후렴구를 여기서도 기억하자.

출처 Lo, Mamaysky & Wang, "Foundations of Technical Analysis", Journal of Finance 55(4), 2000. NBER Working Paper 7613 · 대조군 수치는 이 강의 플랫폼의 합성데이터 실험 실측이다.

도장 100개는 가설 200개 — 다중검정이라는 그림자

무작위 도장 100개와 요약값 200개를 쓴다는 것은 곧 가설 200개를 동시에 검정하는 것과 비슷하다. 아무 신호가 없는 데이터에서도 200개 중 몇 개는 우연히 그럴듯한 성과를 낸다.

릿지의 벌점과 OOS 검증이 이 우연을 걸러 주는 안전장치이지만, 특징 수를 늘릴수록 — 원 논문의 기본값처럼 도장 1만 개라면 — 우연의 덤도 함께 커진다는 긴장 관계는 늘 남는다. 그래서 음성 대조군, 곧 아무것도 심지 않은 무작위 보행에서 성과가 0 근처로 나오는지 함께 확인하는 습관이 중요하다. 양성 대조군은 "찾을 수 있는 것을 찾는가"를, 음성 대조군은 "없는 것을 만들어 내지 않는가"를 검사한다 — 저울의 영점과 눈금을 각각 확인하는 셈이다.