DML과
TMLE

부스팅은 훌륭했고, 신뢰구간은 거짓말을 했다

공변량이 200개인 관측 자료에서 평균 처치효과를 추정하는 연구자를 상상하자. 로지스틱 회귀로는 어림도 없는 차원이라, 성향점수와 결과모형을 그래디언트 부스팅으로 학습했다. 검증 손실은 어떤 고전적 모형보다 낮았다. 그 예측값을 익숙한 인과 공식에 대입하고, 95% 신뢰구간을 적어 논문 초고를 완성했다.

그런데 참값을 알고 있는 모의자료로 이 절차를 수백 번 반복하자 이상한 일이 벌어졌다. 95%라고 적어 둔 신뢰구간이 참값을 포함하는 비율이 절반에도 미치지 못했다. 추정량의 분포 자체가 참값에서 옆으로 밀려나 있었고, 표본을 키워도 밀려난 중심은 돌아오지 않았다. 예측이 좋아진 것과 추론이 유효한 것은 전혀 다른 문제였던 것이다.

2018년 출간된 Chernozhukov 외의 DML(Double/Debiased Machine Learning) 논문(초고는 2016년 arXiv 공개)은 정확히 이 장면을 첫 그림으로 담고 있다. 순진하게 ML을 꽂은 추정량의 분포가 정규분포 근사에서 벗어나 한쪽으로 쏠려 있는 그림이다. 이 논문의 기여는 새 예측 모형이 아니라 배관 공사다. ML의 편향이 최종 추정치로 새는 경로를 두 개로 진단하고, 각각을 막는 장치를 하나씩 제시했다. 5장의 Dragonnet, 6장의 R-learner와 DR-learner가 좋은 성질을 갖는 이유도 전부 이 배관 위에 서 있기 때문이다. 이 장은 그 엔진룸이다.

출처 Chernozhukov, Chetverikov, Demirer, Duflo, Hansen, Newey & Robins, "Double/Debiased Machine Learning for Treatment and Structural Parameters", The Econometrics Journal 21(1), 2018, arxiv.org/abs/1608.00060 · Robinson, "Root-N-Consistent Semiparametric Regression", Econometrica 56(4), 1988.

ML은 일부러 틀린다 — 그 편향이 1차로 전파된다

현대 ML의 성능은 편향-분산 거래에서 나온다. 릿지·라쏘의 수축(shrinkage), 부스팅과 신경망의 조기종료(early stopping), 트리의 가지치기(pruning), 드롭아웃 — 전부 분산을 줄이기 위해 편향을 의도적으로 감수하는 장치다.

예측이 목적이라면 이것은 최적의 거래다. 예측 손실은 편향과 분산을 대칭으로 취급하므로, 편향을 조금 사서 분산을 크게 줄이면 손실이 내려간다. 문제는 인과 추정에서다. 관심 모수(예: ATE)는 nuisance 함수의 범함수(functional)인데, 순진한 대입 추정에서는 nuisance의 편향이 관심 모수에 1차(선형)로 전달된다. 편향은 잡음과 달리 표본을 늘려도 평균으로 상쇄되지 않는다. 신뢰구간의 폭은 \(1/\sqrt{n}\)로 좁아지는데 중심의 어긋남은 그보다 느리게 줄어드니, \(n\)이 커질수록 커버리지는 오히려 나빠진다. 표본이 클수록 더 자신 있게 틀리는 것이다.

진단 2 · 과적합 편향: 자기 데이터로 자기를 채점하면

두 번째 누수는 학습과 평가가 같은 표본에서 일어나는 구조 자체에서 나온다. 유연한 모형은 신호만이 아니라 그 표본의 잡음까지 일부 외운다. 그 모형으로 같은 표본의 잔차를 계산하면, 잔차와 예측 오차 사이에 인위적 상관이 생기고, 이 상관이 추정방정식을 오염시켜 또 다른 편향을 만든다. 예측에서 훈련 오차로 성능을 재지 않는 것과 같은 이유인데, 인과 추정에서는 이것이 성능 과대평가가 아니라 모수 추정치의 편향으로 나타난다는 점이 다르다.

출처 Chernozhukov 외, The Econometrics Journal 21(1), 2018, 서론과 §1, arxiv.org/abs/1608.00060

순진한 한쪽 잔차화는 왜 실패하는가

부분선형모형에서 처치효과 \(\theta\)를 추정한다고 하자.

공변량의 영향 \(f(X)\)는 형태를 모르는 고차원 함수라 ML로 학습하고 싶다. 순진한 방법은 \(\hat f\)를 학습해 \(Y - \hat f(X)\)를 \(D\)에 회귀하는 것이다. 이 추정량의 오차를 전개하면 두 항이 나온다.

첫 항은 통상의 표본 잡음이라 무해하다. 문제는 둘째 항이다. 교란이 있는 자료에서는 처치 \(D\)가 \(X\)의 함수와 상관되어 있으므로, \(D_i\)와 \((f - \hat f)(X_i)\)의 곱의 평균은 0으로 수렴하지 않는다. \(\hat f\)의 오차 — 특히 정규화가 남긴 체계적 편향 — 가 희석 없이 그대로 \(\hat\theta\)에 실린다. \(\hat f\)가 \(n^{-1/4}\)로 수렴하면 \(\hat\theta\)의 편향도 \(n^{-1/4}\) 규모다. \(\sqrt{n}\) 신뢰구간이 감당할 수 있는 규모(\(n^{-1/2}\))를 한참 넘는다.

출처 Chernozhukov 외, 2018, §1의 naive estimator 분석, arxiv.org/abs/1608.00060

오차가 곱으로만 들어가게 만드는 법

DML의 처방은 결과와 처치 양쪽을 잔차화하는 것이다. 두 개의 nuisance — 결과모형 \(m(X) = \mathbb{E}[Y \mid X]\)와 성향함수 \(p(X) = \mathbb{E}[D \mid X]\) — 를 학습해 각각의 예측 가능한 부분을 빼고, 잔차끼리 회귀한다.

선형회귀를 배운 눈에는 낯익은 구조다. 다중회귀에서 한 변수의 계수는 "다른 변수들로 양쪽을 잔차화한 뒤의 단순회귀"와 같다는 Frisch–Waugh–Lovell(FWL) 정리의 비모수·ML 일반화가 정확히 이것이다(선형 세계의 원조는 Robinson 1988의 부분선형 추정량). 핵심은 이 대칭화가 오차의 차수를 바꾼다는 데 있다. 잔차 회귀의 추정 오차를 전개하면, 두 nuisance의 오차가 각각 단독으로 들어가는 1차 항은 소거되고, 다음 형태의 항이 지배한다.

이것이 Neyman 직교성이다. 추정방정식을 nuisance 방향으로 미분하면 참값에서 도함수가 0 — 즉 nuisance의 작은 오차에 1차적으로 둔감하다. 한쪽 오차가 해를 끼치려면 반드시 다른 쪽 오차와 만나야 한다. 그래서 각 오차가 \(n^{-1/4}\) 속도로만 줄어도 곱은 \(n^{-1/4} \times n^{-1/4} = n^{-1/2}\) 규모가 되고, 조금이라도 더 빠르면 \(\sqrt{n}\) 추론에서 무시할 수 있게 된다. 이중강건성(한쪽이 맞으면 일치추정)의 정량 버전이 바로 이 곱 구조다.

수치 감각: 곱은 빨리 죽는다

출처 Chernozhukov 외, 2018, §2 (Neyman orthogonality), arxiv.org/abs/1608.00060 · Robinson, Econometrica 56(4), 1988 · Frisch & Waugh, Econometrica 1(4), 1933; Lovell, JASA 58(304), 1963 (FWL 정리).

K겹 교차적합: 누구도 자기 답안지를 채점하지 않는다

직교화가 정규화 편향을 다뤘다면, 남은 누수는 과적합 편향이다. 처방은 단순한 규율 하나다. 어느 관측치의 잔차도, 그 관측치를 보고 학습한 모형으로는 계산하지 않는다.

1. 표본을 K겹으로 나눈다 (보통 K=5). 각 겹은 한 번씩 "채점 대상"이 된다.
2. 겹 밖에서 학습한다. k번째 겹의 nuisance 예측값 \(\hat m^{(-k)},\ \hat p^{(-k)}\)는 그 겹을 제외한 나머지 K−1겹만으로 학습한 모형에서 얻는다.
3. 전 표본의 잔차를 모은다. 모든 겹을 한 바퀴 돌면 관측치 n개 전부가 정확히 한 번씩, 자기가 빠진 모형으로 채점된 잔차를 갖는다.
4. 모은 잔차로 §2의 잔차 회귀를 수행한다. 추정치와 표준오차 계산에 전 표본이 쓰인다.

왜 절반 표본 분할(split-sample)로 만족하지 않는가. 절반으로 학습하고 절반으로 추정하면 과적합은 끊기지만, 최종 추정에 표본의 절반만 쓰여 표준오차가 \(\sqrt{2}\)배(약 41%) 넓어진다. 교차적합은 역할을 교대시켜 이 손실을 없앤다. 모든 관측치가 학습에도 쓰이고 (다른 겹의 차례에) 추정에도 쓰이므로, 과적합 차단과 완전한 효율이 동시에 확보된다. 두 장치를 합친 결과가 DML의 핵심 정리다. nuisance를 블랙박스 ML로 추정하고도 \(\hat\theta\)는 \(\sqrt{n}\) 수렴과 점근 정규성을 회복하고, 통상의 방식으로 신뢰구간을 만들 수 있다.

출처 Chernozhukov 외, 2018, §3 (cross-fitting), arxiv.org/abs/1608.00060 · Chang, "Double/Debiased Machine Learning for Difference-in-Differences Models", The Econometrics Journal 23(2), 2020.

초기 적합 → 영리한 공변량 → 요동 → plug-in

TMLE(Targeted Maximum Likelihood Estimation)의 철학은 순서에 있다. 예측을 위한 적합과 관심 모수를 위한 보정을 분리하고, 보정은 마지막에 1차원짜리 최소 수술로 끝낸다. ATE를 예로 네 단계를 따라가자.

1. 초기 적합. 결과모형 \(\hat{Q}^0(d, x) = \hat{\mathbb{E}}[Y \mid D=d, X=x]\)를 아무 ML로나 학습한다. 이 시점의 대입 추정 \(\frac{1}{n}\sum_i [\hat{Q}^0(1,X_i) - \hat{Q}^0(0,X_i)]\)는 §1의 정규화 편향을 그대로 품고 있다. 왜 이 단계인가 — 예측력을 최대로 끌어올리는 일은 ML이 제일 잘하므로, 여기서는 ML을 전혀 구속하지 않는다.
2. 영리한 공변량(clever covariate)을 만든다. 성향점수 \(\hat g\)로 \(H_i = \frac{D_i}{\hat g(X_i)} - \frac{1-D_i}{1-\hat g(X_i)}\)를 계산한다. 왜 이 변수인가 — \(H_i\)는 "이 관측치의 잔차가 ATE 편향에 기여하는 방향과 크기"를 담는다. 효율적 영향함수에서 잔차에 곱해지는 바로 그 가중치라서, 편향을 지우려면 어느 방향으로 모형을 밀어야 하는지 알려 주는 나침반 역할을 한다.
3. 1차원 요동(fluctuation) 회귀. \(\hat{Q}^0\)을 오프셋(고정 절편)으로 두고 \(H\)만을 설명변수로 하는 회귀를 하나 더 적합해 스칼라 \(\hat\epsilon\)을 얻고, 모형을 \(\hat{Q}^1 = \hat{Q}^0 + \hat\epsilon H\) 방향으로 딱 한 걸음 갱신한다. 왜 한 걸음인가 — 이 회귀의 1계 조건이 정확히 "잔차와 \(H\)의 곱의 평균 = 0", 즉 ATE에 대한 효율적 추정방정식이다. 갱신은 그 방정식을 만족시키는 데 필요한 최소한만 움직이고, 초기 적합의 예측력은 최대한 보존한다.
4. 갱신된 모형으로 plug-in. \(\widehat{\text{ATE}} = \frac{1}{n}\sum_i [\hat{Q}^1(1,X_i) - \hat{Q}^1(0,X_i)]\). 왜 plug-in인가 — 최종 추정치가 "어떤 (갱신된) 모형의 예측값 평균"이므로, 결과가 확률(0~1)이면 로지스틱 요동을 쓰는 한 추정치도 반드시 그 범위 안에 있다. 스코어 평균 방식이 가끔 음의 확률이나 1 초과를 내놓는 것과 대비되는 실용적 장점이고, 역학·생물통계에서 TMLE가 표준이 된 이유 중 하나다.

이렇게 얻은 추정치는 이중강건성과 준모수 효율성을 갖는다. 도착점의 성질은 DML과 같은데 도착 경로가 다른 것이다.

출처 van der Laan & Rubin, "Targeted Maximum Likelihood Learning", The International Journal of Biostatistics 2(1), 2006 · van der Laan & Rose, Targeted Learning: Causal Inference for Observational and Experimental Data, Springer, 2011.

같은 목적지, 다른 설계 철학

두 프레임워크의 차이는 "편향 보정을 언제, 어디서 하는가"로 요약된다.

출처 Chernozhukov 외, 2018 · van der Laan & Rose, 2011 — 두 문헌의 서론이 서로의 접근을 상호 인용하며 대비한다.

요동을 손실에 넣고, 보정항을 데이터가 찾게 하라

5장에서 Dragonnet의 targeted regularization을 "나중에 설명할 이유가 있다"고 미뤄 두었다. 이제 그 약속을 회수할 수 있다. targeted regularization은 TMLE의 3단계 요동 회귀를 신경망의 학습 손실 안에 항으로 내장한 것이다.

구체적으로, 요동 계수 \(\epsilon\)을 별도의 학습 파라미터로 두고, "갱신된 예측 \(\hat{Q} + \epsilon H\)의 잔차 제곱"을 예측 손실에 벌점으로 더한다. 이 벌점을 낮추는 방향은 정확히 효율적 추정방정식을 만족시키는 방향이므로, 경사하강이 끝나는 순간 모형은 이미 표적 보정이 된 상태다. 사후 요동 단계가 학습 과정 자체에 흡수된 것 — "TMLE의 신경망 내장판"이라는 표현이 정확히 이 뜻이다.

두 번째 방향은 더 급진적이다. ATE의 보정 가중치 \(H\)는 손으로 유도된 공식이 있지만, 더 복잡한 모수 — 정책 함수의 기댓값, 평균 도함수 등 — 는 보정항(일반화하면 Riesz representer) 유도 자체가 수리통계의 난제다. Auto-DML/RieszNet 계열은 이 함수를 신경망으로 직접 학습한다. "어떤 함수를 잔차에 곱해 평균 내면 편향이 사라지는가"라는 질문에 대한 답을, 유도 없이도 최소화 문제의 해로 데이터가 스스로 찾게 만든 것이다.

출처 Shi, Blei & Veitch, "Adapting Neural Networks for the Estimation of Treatment Effects", NeurIPS, 2019, arxiv.org/abs/1906.02120 · Chernozhukov, Newey, Quintas-Martínez & Syrgkanis, "RieszNet and ForestRiesz: Automatic Debiased Machine Learning with Neural Nets and Random Forests", ICML, 2022, arxiv.org/abs/2110.03031

psi 벡터 하나에 추정치와 표준오차가 다 들어 있다

한 줄 목표: 직교 스코어 \(\psi_i\)를 관측치마다 만들어 두면, 평균이 ATT, 표준편차/√n이 표준오차가 되는 구조를 코드로 확인한다.

출처 Sant'Anna & Zhao, "Doubly Robust Difference-in-Differences Estimators", Journal of Econometrics 219(1), 2020, arxiv.org/abs/1812.01723 · Chang, The Econometrics Journal 23(2), 2020.

순진한 편향은 기준선을 뚫고, 곱은 그 아래에 머문다

한 줄 목표: 표본이 커질 때 순진한 편향(∝ 결과모형 오차)은 표본 잡음 기준선 1/√n보다 느리게 줄어 결국 그 위로 올라서고, 직교화 편향(∝ 두 오차의 곱)은 기준선 아래로 사라지는 것을 확인한다.

출처 Chernozhukov 외, 2018의 수렴 속도 조건(§3)을 시각화를 위해 단순화했다, arxiv.org/abs/1608.00060

오해 하나, 퀴즈 넷

인용 원칙 본문 수치는 원문 기준으로 표기했다. 수렴 속도 등 점근 논의는 원문 정리의 조건을 단순화해 서술한 곳에 그 사실을 명시했고, 경향성 서술("~하는 경향이 보고된다")은 해석임을 표시했다.