순환신경망,
기억하는 신경망
"최근 21일 수익률"처럼 창 길이를 사람이 고르는 대신, 무엇을 얼마나 기억할지 모델이 배우게 할 수 있을까. 은닉상태라는 압축 기억, 순환 가중치를 학습하지 않는 역발상 Echo State Network, 그리고 인과적 구조가 공짜로 보장하는 룩어헤드 안전까지. 은닉상태의 감쇠 계수 λ를 직접 움직여 기억의 반감기를 확인하는 실습이 들어 있다.
"순환 가중치를 학습하지 말자"는 역발상이 이겼다
RNN 학습이 절망적으로 어렵던 시절, 가장 어려운 부분을 통째로 포기한 방법이 벤치마크를 갈아치웠다. 이 모듈은 그 역발상의 원리를 따라간다.
연못에 돌을 던지고, 물결만 읽기로 한 사람
2001년, 독일 국립정보기술연구소(GMD)의 연구원 헤르베르트 예거(Herbert Jaeger)가 기술 보고서 한 편을 낸다. 당시 순환신경망(RNN)은 "이론상 무엇이든 기억할 수 있지만 실제로는 거의 학습이 안 되는" 골칫거리였다. 예거의 제안은 과격했다 — 가장 어려운 순환 가중치는 아예 학습하지 말자. 무작위로 만들어 굳혀 두고, 마지막의 읽기(readout) 한 층만 배우자.
포기처럼 들리는 이 방법은 3년 뒤 Science에 실렸다. 혼돈 시계열 예측 벤치마크에서 종전 기법 대비 정확도를 약 2,400배 개선했다는 보고였다. 학습을 줄였는데 성능이 뛴 것이다. 그리고 이 발상은 잡음이 극심하고 재현성이 생명인 금융 시계열에서 뜻밖의 실속을 발휘한다 — 반복 훈련 없이 한 번에 풀리고, 시드만 고정하면 누가 돌려도 소수점까지 같은 답이 나오는 순환신경망.
이 강의에서 지금까지의 모델들 — 팩터 랭킹 모듈의 LightGBM, 차트패턴 모듈의 CNN — 은 모두 "고정된 창"을 입력으로 받았다. 21일 수익률, 최근 60일 차트 이미지처럼 얼마나 과거를 볼지 사람이 미리 잘라서 넣어 준 것이다. 이번 모듈의 주제는 그 자르는 행위 자체를 모델에게 넘기는 것이고, 다음 강화학습 모듈은 한 걸음 더 나아가 "예측"이 아니라 "행동"까지 모델에게 넘긴다. 제4부의 세 모듈은 정적인 스냅숏에서 동적인 시간 구조로 넘어가는 계단이다.
생각해 볼 질문
"과거를 기억한다"와 "과거를 전부 저장한다"는 어떻게 다른가. 유한한 크기의 메모에 무한한 과거를 담으려면 무엇을 포기해야 하는가.
출처 Jaeger, "The 'echo state' approach to analysing and training recurrent neural networks", GMD Report 148, 2001 · Jaeger & Haas, "Harnessing Nonlinearity", Science 304(5667), 2004. doi:10.1126/science.1091277
왜 "기억"이 필요한가
조용한 장에서는 긴 창이, 위기에는 짧은 창이 유리하다. 하나의 고정 창은 두 국면을 동시에 만족시킬 수 없다.
신경망 = 곱해 더하고, 구부리고, 반복한다
신경망(neural network)은 입력 숫자들에 가중치를 곱해 더하고, 그 결과를 구부리는 함수(활성화)에 통과시키는 층을 여러 겹 쌓은 함수 근사기다. 가중치들을 데이터에 맞게 조정하는 것이 학습이다.
"곱해 더하고, 구부리고, 다시 곱해 더하고"라는 단순한 반복이 신경망의 전부이고, 학습이란 손실을 줄이는 방향으로 그 가중치들을 조금씩 고쳐 가는 과정이다. 여기까지는 오토인코더 모듈과 CNN 모듈에서 이미 쓴 도구다. 이번 모듈의 질문은 그 위에 있다 — 시간 축을 따라 흘러오는 데이터를, 이 기계가 어떻게 "기억"하게 만들 것인가.
21일이 최선인가, 60일이 최선인가 — 그 선택이 이미 사람의 감이다
팩터 랭킹 모듈의 모델은 "최근 21일 수익률" 같은 고정 길이 요약값을 사람이 설계해 넣었다. 21일 모멘텀 피처를 쓰는 모델은 22일 전에 일어난 일을 원리적으로 볼 수 없다.
창을 60일로 늘리면 이번에는 최근 며칠의 급변이 두 달 치 평균에 희석된다. 시장이 조용할 때는 긴 창이 유리하고 위기 때는 짧은 창이 유리한데, 하나의 고정 창은 두 국면을 동시에 만족시킬 수 없다. 그래서 실무자는 5일·21일·60일 피처를 전부 만들어 넣는 절충을 하는데, 이는 "몇 개의 창을 고를 것인가"라는 또 다른 선택 문제를 낳을 뿐이다. 순환신경망(RNN)은 이 선택 자체를 모델에게 넘긴다 — 시계열을 시간 순서대로 하루치씩 읽으며, 내부 메모를 매일 갱신하는 방식으로.
| 비교 항목 | 고정 길이 피처 | 은닉상태 (RNN) |
|---|---|---|
| 과거를 보는 범위 | 창 길이로 사람이 고정 | 이력 전체가 재귀적으로 누적 |
| 요약 방식 | 사람이 설계 (평균·표준편차 등) | 모델이 데이터에서 학습 |
| 국면 변화 대응 | 창 길이 재조정 필요 | 기억의 비중을 스스로 조절 |
"창 길이 선택"은 사소해 보이지만 사실 과적합의 숨은 통로다. 5일·10일·21일·60일·120일을 다 시험해 보고 백테스트가 가장 좋은 창을 고르는 순간, 전향 평가 모듈에서 본 선택 편향이 그대로 작동한다. 창 길이는 연속적인 값이라 시도 횟수가 무한정 늘어날 수 있고, 그만큼 우연히 잘 맞는 창이 나올 확률도 커진다. RNN이 이 선택을 모델 내부의 학습 문제로 바꾼다고 해서 과적합이 사라지는 것은 아니지만, 적어도 "사람이 몰래 여러 번 고른" 흔적이 남지 않는 명시적 학습 문제가 된다는 차이가 있다.
단어 순서를 하나씩 읽으며 문맥을 쌓는다는 같은 구조 때문에, RNN은 2010년대 중반까지 기계번역과 음성인식의 주력이기도 했다. 시계열과 문장은 "순서가 정보"라는 점에서 같은 종류의 데이터다.
출처 단순 순환망의 고전적 정식화: Elman, "Finding Structure in Time", Cognitive Science 14(2), 1990.
은닉상태 — 매일 고쳐 쓰는 메모
지나온 이력 전체가 상태 하나에 압축된다. 단, 그 기억은 완벽한 저장이 아니라 지수적으로 옅어지는 손실 압축이다.
서기가 매일 고쳐 쓰는 회의록 요약본
은닉상태(hidden state)는 RNN이 유지하는 내부 요약 벡터다. 오늘의 상태 = \( f(\text{어제의 상태},\ \text{오늘의 입력}) \) — 어제까지의 요약에 오늘 소식을 반영해 다시 쓰는 메모다.
회의록에 비유하면 이해가 빠르다. 매일 회의가 열리고, 서기는 "어제까지의 회의록 요약 + 오늘의 안건"을 읽고 요약본을 새로 고쳐 쓴다. 요약본의 분량(벡터의 차원)은 늘 일정하지만, 그 안에는 첫날부터의 흐름이 녹아 있다. 중요한 안건은 요약에 오래 살아남고 사소한 안건은 며칠 지나면 밀려난다. 무엇을 남기고 무엇을 버릴지가 바로 가중치가 학습하는 내용이다.
- 오늘의 메모는 어제의 메모를 포함하고, 어제의 메모는 그제의 메모를 포함한다 — 재귀적으로 이력 전체가 상태 하나에 압축된다
- 며칠 치를 볼지 미리 정할 필요가 없다 — 고정 길이 피처와의 결정적 차이
- 요약본의 크기는 고정 — 무한한 과거를 유한한 메모에 담으므로, 필연적으로 손실 압축이다
갱신식 세 번이면 기억의 정체가 보인다
가장 단순한 1차원 갱신식 \( h_t = 0.5\,h_{t-1} + x_t \)를 생각하자. 초기 상태 \( h_0 = 0 \), 일별 입력(수익률)이 \( x = (+2,\ 0,\ -1) \)로 들어온다.
- 첫날: \( h_1 = 0.5 \times 0 + 2 = 2 \)
- 둘째 날: \( h_2 = 0.5 \times 2 + 0 = 1 \) — 새 입력이 없어도 상태는 절반으로 옅어지며 살아남는다
- 셋째 날: \( h_3 = 0.5 \times 1 + (-1) = -0.5 \) — 이 값 안에는 첫날의 +2가 \( 0.5^2 = 0.25 \)의 비중으로 아직 살아 있다 (기여분 \( 2 \times 0.25 = 0.5 \))
과거는 사라지지 않되, 0.5라는 계수 때문에 하루 지날 때마다 절반씩 옅어진다. 이 "옅어지는 속도"를 데이터에 맞게 조절하는 것이 RNN 학습의 핵심이다.
"이력 전체가 압축된다니, RNN은 과거를 완벽하게 기억하는구나."
아니다. 위 손계산에서 보듯 기본 RNN의 기억은 지수적으로 감쇠한다. 계수가 0.5면 20일 전 사건의 흔적은 \( 0.5^{20} \approx 10^{-6} \), 백만분의 일 수준으로 줄어든다. 유한한 크기의 메모에 무한한 과거를 무손실로 담을 수는 없으므로, 은닉상태는 "전부 기억"이 아니라 "예측에 유용한 것을 우선 기억"하는 손실 압축에 가깝다.
이 감쇠를 얼마나 정교하게 통제하느냐가 게이트 구조의 존재 이유다. GRU(Gated Recurrent Unit)는 은닉상태에 "얼마나 기억하고 얼마나 잊을지"를 조절하는 문(게이트)을 단 개선형 RNN으로, 오래된 정보를 무작정 잊어버리는 기본 RNN의 약점을 보완해 장기 기억이 필요한 과제에서 더 안정적으로 학습된다. Optiver 대회 모듈에서 만날 1위 솔루션의 부품이기도 하다.
게이트의 발상을 위 손계산에 대입하면 이렇다 — 감쇠 계수 0.5를 상수로 두는 대신, 입력을 보고 그때그때 계수를 정하는 작은 신경망을 하나 더 두는 것이다. 중요한 사건이 들어온 날은 계수를 1에 가깝게 올려 오래 기억하고, 잡음뿐인 날은 계수를 낮춰 빨리 잊는다. "기억의 속도" 자체가 학습 대상이 된 셈이다.
출처 GRU: Cho et al., "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation", EMNLP 2014. arXiv:1406.1078
ESN — 연못에 돌을 던지고 물결을 읽는다
순환 연결은 무작위로 굳혀 두고 마지막 읽기 층만 배운다. 조건은 하나 — 옛 물결이 서서히 잦아들 것.
BPTT — 1보다 조금 작으면 소실, 조금 크면 폭주
RNN의 정식 학습(BPTT, 시간을 거슬러 오차를 전파하는 역전파)은 무겁고 불안정하기로 악명 높다. 100일 치를 학습하려면 오차 신호가 100단계를 거슬러 오르며 같은 순환 가중치를 100번 곱해야 하기 때문이다.
절묘한 균형 위에서만 학습이 굴러가기에, 학습률·초기화·클리핑 같은 세부 설정에 극도로 민감하다. Echo State Network(ESN)의 통찰은 "그 어려운 부분을 아예 학습하지 말자"는 역발상이다 — 순환 연결(상태를 섞는 가중치)은 무작위로 만들어 고정하고, 마지막의 읽기(readout) 한 층만 릿지 회귀로 학습한다. 1인 연구팀도 쓸 수 있는 기발한 지름길이다.
출처 장기 의존성 학습의 어려움에 대한 고전적 분석: Bengio, Simard & Frasconi, "Learning Long-Term Dependencies with Gradient Descent is Difficult", IEEE Trans. Neural Networks 5(2), 1994. doi:10.1109/72.279181
스펙트럴 반경 — 연못의 기억 길이 조절 손잡이
비유하면 이렇다. 연못(무작위로 굳힌 순환망)에 돌(오늘의 수익률)을 하나씩 던지면 물결(은닉상태)이 인다. 물결의 물리 법칙은 연못이 알아서 만들고, 우리는 물결 무늬를 보고 내일을 읽는 법만 배운다.
조건이 하나 있다. 옛날에 던진 돌의 물결이 서서히 잦아들어야 한다 — 그래야 최근 정보가 살아 있다. 이것이 메아리 조건이며, 수학적으로는 순환 가중치의 증폭률, 곧 스펙트럴 반경(spectral radius)을 1보다 작게 맞추는 것이다. 스펙트럴 반경은 행렬을 반복해서 곱했을 때 벡터가 늘어나는 최대 배율로, 오늘 던진 돌의 물결이 \( t \)일 뒤에 남는 비율은 대략 \( (\text{반경})^t \)이다.
| 스펙트럴 반경 | 10일 뒤 | 30일 뒤 | 연못의 상태 |
|---|---|---|---|
| 0.5 | ≈ 0.001 | ≈ 10⁻⁹ | 기억이 매우 짧다 — 며칠 전 일도 거의 잊는다 |
| 0.9 | ≈ 0.35 | ≈ 0.04 | 한 달이면 물결이 4%로 잦아들어 새 정보가 들어설 자리가 생긴다 |
| 0.99 | ≈ 0.90 | ≈ 0.74 | 기억이 길다 — 한 달 전 물결이 아직 74% 남아 있다 |
| 1.1 | ≈ 2.6배 | ≈ 17.4배 | 옛 물결이 사라지지 않고 증폭 — 연못 전체가 메아리로 포화하고, 오늘의 입력은 굉음에 묻힌다 |
반경을 1에 바짝 붙이면 기억이 길어지고, 낮추면 짧아진다. 스펙트럴 반경은 ESN의 "기억 길이 조절 손잡이"인 셈이다 — 아래 실습에서 이 손잡이의 1차원 판을 직접 돌려 본다.
학습에서 뺀 자유도는 사라진 게 아니라 옮겨 왔다
readout(읽기 층)은 은닉상태를 최종 예측값으로 바꾸는 마지막 선형 변환으로, ESN에서 유일하게 학습되는 부분이다. 릿지 회귀는 닫힌 형태로 한 방에 풀리는 계산이라 반복 훈련이 필요 없고, 순수 numpy로 구현되며, 결과가 완전히 재현된다.
재현성은 생각보다 귀한 성질이다. 경사하강법으로 훈련하는 신경망은 초기값·배치 순서·GPU 연산 순서에 따라 매번 조금씩 다른 모델이 나오지만, ESN은 난수 시드만 고정하면 누가 어느 컴퓨터에서 돌려도 소수점까지 같은 답이 나온다. 모듈 1에서 강조한 재현성 원칙 — 같은 입력이면 언제 누가 돌려도 같은 결과 — 과 정확히 맞물리는 장점이다. 이 강의의 플랫폼은 torch가 설치돼 있으면 정식 GRU로 자동 업그레이드되는 구성도 갖췄다.
"순환 가중치를 학습하지 않으니, ESN은 튜닝할 것도 없겠네."
함정이다. 학습에서 뺀 자유도는 하이퍼파라미터로 옮겨 왔을 뿐이다. 연못의 크기(은닉상태 차원), 스펙트럴 반경, 입력 스케일, 릿지 벌점 강도는 여전히 사람이 골라야 한다. 튜닝 대상이 가중치에서 구조 설정으로 바뀌었을 뿐, 선택의 책임은 그대로 남는다 — 그리고 그 선택에도 선택 편향이 끼어들 수 있다.
저수지 컴퓨팅(reservoir computing)이라는 더 큰 계보가 있다. ESN은 2000년대 초 예거가 제안했고, 비슷한 시기 신경과학 쪽에서는 스파이킹 뉴런으로 같은 발상을 구현한 리퀴드 스테이트 머신(liquid state machine)이 독립적으로 나왔다. 공통 철학은 이렇다 — 복잡한 동역학계(저수지)는 입력의 시간 구조를 고차원 상태로 자연스럽게 펼쳐 놓으므로, 그 위에 선형 읽기만 얹어도 비선형 시계열 과제를 풀 수 있다.
이 관점의 매력은 저수지가 꼭 신경망일 필요조차 없다는 것이다. 실제로 물탱크의 파동, 광학 회로, 전자 회로를 저수지로 쓴 하드웨어 구현 연구들이 이어져 왔다. 무작위 고정 저수지가 작동한다는 사실은 역으로 "BPTT로 순환 가중치까지 다 학습하는 것이 늘 필요한가?"라는 질문을 던진다. 학습할 부분과 고정할 부분을 나누는 설계 감각 — 이것이 저수지 컴퓨팅이 남긴 유산이다.
출처 Maass, Natschläger & Markram, "Real-Time Computing Without Stable States", Neural Computation 14(11), 2002. doi:10.1162/089976602760407955 · 물리 저수지 리뷰: Tanaka et al., "Recent Advances in Physical Reservoir Computing", Neural Networks 115, 2019. arXiv:1808.04962
기억 감쇠 실험실
감쇠 계수 λ 하나가 기억의 반감기를 정한다. λ가 1에 다가갈수록 반감기는 폭발적으로 길어진다 — 공식이 아니라 눈으로 본다.
은닉상태의 반감기 — λ 손잡이 돌려 보기
계단 입력을 먹인 1차원 은닉상태의 충전과 방전
목표 — 갱신식 \( h_t = \lambda\,h_{t-1} + (1-\lambda)\,x_t \)에서 λ가 기억의 지속 시간을 어떻게 정하는지 확인한다. 입력은 1일~10일에 \( x_t = 1 \)(계단), 11일부터 0이다. 입력이 끊긴 뒤 상태는 \( \lambda^t \)로 감쇠하며, 절반으로 줄어드는 데 걸리는 시간(반감기)은 \( \ln 2 / \ln(1/\lambda) \)이다.
조작 안내 — λ를 0에서 0.99까지 움직여 본다. 기본값 0.90에서 시작해 0.5로 내렸다가 0.99까지 올려 보라. 관찰 포인트 — ① λ=0.5면 반감기 정확히 1일 — 입력이 끊기자마자 기억이 무너진다. ② λ=0.9면 반감기 약 6.6일, λ=0.99면 약 69일. 0.9에서 0.99로 "겨우 0.09" 올렸는데 반감기는 10배 이상 길어진다 — 반감기가 \( 1/(1-\lambda) \) 규모로 발산하기 때문이다. ③ λ가 클수록 충전도 느리다 — λ=0.99에서는 10일 내내 입력을 받아도 상태가 0.1 근처까지밖에 차지 않는다. 오래 기억하는 만큼 새 소식에 둔감해지는 맞교환이 보이면 성공이다. ④ 이 λ는 ESN 스펙트럴 반경의 1차원 판이다 — 순환 가중치를 학습하지 않아도, 이 손잡이 하나로 기억 길이를 조절하고 그 위에 readout만 학습하면 된다는 것이 ESN의 발상이다.
반감기 공식은 \( \lambda^{T} = \tfrac{1}{2} \)를 \( T \)에 대해 푼 것이다: \( T = \ln 2 / \ln(1/\lambda) \). 손검산으로 확인하면 λ=0.9일 때 \( \ln 2 \approx 0.6931 \), \( \ln(1/0.9) \approx 0.1054 \), 따라서 \( T \approx 6.6 \)일이다. 실제로 \( 0.9^{6.6} \approx 0.50 \)이 맞는지 계산기로 확인해 보라. 충전 쪽도 닫힌 형태가 있다 — 계단 입력 구간에서 \( h_t = 1 - \lambda^t \)이므로, 10일 뒤 상태는 λ=0.9면 \( 1 - 0.9^{10} \approx 0.65 \), λ=0.99면 \( 1 - 0.99^{10} \approx 0.10 \)이다.
게이트 구조(GRU)는 정확히 이 λ를 입력에 따라 매 시점 다시 정하는 장치다. 실습의 λ는 상수지만, GRU의 "업데이트 게이트"는 오늘 들어온 데이터를 보고 λ를 그 자리에서 계산한다 — 중요한 날은 λ를 낮춰 새 정보를 크게 반영하고, 잡음뿐인 날은 λ를 높여 기존 기억을 지킨다.
공짜 안전, 그리고 공짜가 아닌 것
규율로 막는 안전은 실수 한 번에 뚫리지만, 구조로 막는 안전은 뚫릴 구멍이 없다. 대신 과적합이라는 청구서는 그대로 남는다.
미래가 스며들 통로 자체가 없다
은닉상태는 정의상 "과거 입력만으로" 순서대로 계산되는 인과적 구조다. 미래 데이터를 잘라내도 과거의 상태는 한 치도 변하지 않는다. 올바른 설계가 룩어헤드 안전을 공짜로 보장해 주는 사례다.
이 보장이 왜 값진지는 반대 사례와 견주면 선명해진다. 모듈 1에서 본 룩어헤드 편향의 단골 사고 유형 하나가 "전체 기간 통계로 정규화"다. 2020년의 피처를 2024년까지 포함한 평균·표준편차로 스케일링하면 그 순간 미래가 과거로 스며든다. 다만 구조가 지켜 주는 것은 상태 계산까지다. 입력 피처를 만드는 전처리 단계에서 미래 통계를 쓰면 도루묵이므로, 정규화는 여전히 훈련 구간 통계만으로 해야 한다.
양성 대조군 — 심어 둔 신호를 수확하는지 먼저 본다
신약 시험에서 효과가 확실한 기존 약을 함께 시험해 "실험 절차 자체가 제대로 작동하는지" 확인하듯, 여기서는 규칙적인 사이클을 일부러 심은 가짜 수익률을 만들어 모델에게 먹였다.
이 플랫폼의 합성데이터 실험에서, 사이클을 심은 양성 대조군의 점수는 인샘플 10.20 → OOS(표본외) 10.04로 유지됐다. 심은 신호를 OOS에서 못 건지면 데이터 처리나 모델 코드 어딘가가 고장 난 것인데, 거의 그대로 유지됐다는 것은 파이프라인이 신호를 온전히 수확했고 과적합으로 부풀린 성적이 아니라는 이중 확인이다. 거꾸로 인샘플 성적이 OOS에서 크게 무너진다면, 그 격차가 바로 과적합의 크기를 재는 눈금이 된다.
단, 경고를 함께 기억하자. 이 대조군의 사이클은 신호를 일부러 강하게 심은 것이라 실제 시장보다 훨씬 쉬운 시험이다. 실제 수익률의 신호 대 잡음비(signal-to-noise ratio) — 데이터에서 "맞힐 수 있는 규칙적인 부분"과 "순수한 우연"의 비율 — 는 극도로 낮아서, 일간 수익률에서 설명 가능한 부분은 흔히 R² 기준 1% 안팎으로 추정된다. 100의 잡음 속 1의 신호인 셈이다. 신호가 지배하는 이미지 인식과 정반대 환경이며, 금융 ML이 다른 분야보다 유독 어려운 근본 이유다. 그래서 작은 RNN조차 과적합이 기본값이고, 실데이터에서는 강한 정규화(모델을 단순하게 묶는 벌점)와 부록 B의 검증 절차가 필수다.
R² 1%는 어느 정도의 예측력일까. R²가 0.01이라는 것은 예측과 실제의 상관계수가 대략 \( \sqrt{0.01} = 0.1 \)이라는 뜻이다. 상관 0.1짜리 예측은 개별 시점만 보면 거의 동전 던지기와 구별되지 않는다 — 방향 적중률로 환산하면 대략 53% 수준이다.
그런데도 퀀트 산업이 굴러가는 이유는 반복에 있다. 53%짜리 우위라도 1,000개 종목에 매일, 수년간 적용하면 대수의 법칙이 작은 우위를 안정적인 수익으로 누적시킨다. 카지노가 51 대 49의 우위로 돈을 버는 것과 같은 원리다. 교훈은 두 가지다 — 금융에서 R² 1%는 실패가 아니라 오히려 훌륭한 성과일 수 있다는 것, 그리고 그 1%를 노리는 모델 옆에는 99%의 잡음을 "신호"로 착각해 학습해 버릴 위험이 항상 도사린다는 것.
퀴즈와 정리
답을 보기 전에 먼저 스스로 답해 본다. 전부 이 모듈 안에서 다룬 내용이다.
은닉상태가 고정 길이 피처보다 유연한 이유는?
갱신식 \( h_t = 0.5\,h_{t-1} + x_t \)에서 \( h_0 = 0 \), 입력이 (+4, 0, 0)일 때 \( h_3 \)는? 이 값이 말해 주는 기본 RNN의 성질은?
스펙트럴 반경이 1을 넘으면 무슨 일이 생기나?
ESN에서 학습되는 부분과 고정된 부분은?
ESN이 릿지 회귀로 readout을 학습하면 얻는 실용적 이점 두 가지는?
양성 대조군 실험의 목적은 무엇인가?
① RNN의 본질은 은닉상태라는 압축 기억이다 — 창 길이를 미리 정할 필요가 없다.
② 다만 그 기억은 손실 압축이다. 기본 RNN은 지수적으로 잊고, 게이트(GRU)가 이를 보완한다.
③ ESN은 순환은 무작위 고정 + 읽기만 학습 — 연못과 물결의 분업이다. 스펙트럴 반경 < 1이 메아리 조건이자 기억 길이의 손잡이다.
④ 인과적 구조는 룩어헤드 안전을 구조로 보장한다 — 단, 전처리의 정규화는 여전히 훈련 구간 통계만 써야 한다.
⑤ 실데이터의 신호 대 잡음비는 R² 기준 1% 안팎으로 추정된다. 과적합이 기본값이고, 강한 정규화와 검증 절차가 필수다.
참고문헌
수치와 일화는 아래 원문 기준으로 서술했다. 링크는 공개 원문 또는 공식 등록처(DOI·arXiv)가 확실한 것만 달았다.
RNN · 원리
- Elman, J. L. (1990). "Finding Structure in Time." Cognitive Science 14(2). — 단순 순환망(SRN)의 고전적 정식화.
- Bengio, Y., Simard, P. & Frasconi, P. (1994). "Learning Long-Term Dependencies with Gradient Descent is Difficult." IEEE Transactions on Neural Networks 5(2). doi.org/10.1109/72.279181 — 기울기 소실·폭주 문제의 고전적 분석.
- Cho, K. et al. (2014). "Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation." EMNLP 2014. arxiv.org/abs/1406.1078 — GRU의 원전.
저수지 컴퓨팅
- Jaeger, H. (2001). "The 'echo state' approach to analysing and training recurrent neural networks." GMD Report 148, German National Research Center for Information Technology. — ESN의 원전 보고서.
- Jaeger, H. & Haas, H. (2004). "Harnessing Nonlinearity: Predicting Chaotic Systems and Saving Energy in Wireless Communication." Science 304(5667). doi.org/10.1126/science.1091277 — 혼돈 시계열 예측 정확도 약 2,400배 개선 보고.
- Maass, W., Natschläger, T. & Markram, H. (2002). "Real-Time Computing Without Stable States." Neural Computation 14(11). doi.org/10.1162/089976602760407955 — 리퀴드 스테이트 머신.
- Tanaka, G. et al. (2019). "Recent Advances in Physical Reservoir Computing: A Review." Neural Networks 115. arxiv.org/abs/1808.04962 — 물·광학·전자 회로 저수지 등 하드웨어 구현 개관.
이 자료의 백테스트·검증 관련 수치(인샘플 10.20 → OOS 10.04 등)는 강의용 실험 플랫폼의 합성데이터 실측이거나 손계산 예시이며, 실제 투자 성과를 시사하지 않는다. "일간 수익률의 설명 가능한 부분 R² 1% 안팎"은 업계에서 널리 통용되는 추정치로 알려져 있으며 시장·기간에 따라 다르다. 인용 원칙: 연도는 발표 기준, 확신이 없는 서술은 "~로 알려져 있다"로 구분했다.