메타러너와
인과 숲

새 모형이 하나도 없는 방법론 논문

2019년, 퀸젤(Künzel)과 버클리의 공저자들이 PNAS에 실은 논문에는 새로운 모형이 하나도 없다. 신경망 구조도, 새로운 트리 알고리즘도 제안하지 않는다. 대신 이렇게 말한다. 당신이 이미 갖고 있는 아무 지도학습 모형이나 가져와라. 우리는 그것을 이질적 처치효과 추정기로 바꾸는 조리 순서를 준다. 이 조리 순서에 붙은 이름이 메타러너(metalearner)다. 논문은 흩어져 쓰이던 S-learner와 T-learner를 한 틀에 정리하고 자신들의 X-learner를 더했으며, 이후 R-learner(Nie & Wager)와 DR-learner(Kennedy)가 같은 계보에 합류했다.

5장의 TARNet과 Dragonnet은 신경망을 전제한 전용 구조였다. 메타러너는 정반대의 사상이다. 각 자리에 부스팅이든 랜덤 포레스트든 신경망이든 꽂으면 되고, 목표는 5장과 같은 CATE \(\tau(x)=\mathbb{E}[Y(1)-Y(0)\mid X=x]\), 식별 가정도 같은 무교란(unconfoundedness)이다. 바뀌는 것은 추정의 절차뿐이다.

이 장 전체를 하나의 예제로 관통한다. 다섯 레시피가 같은 데이터에서 각각 어떻게 성공하고 실패하는지를 볼 수 있도록.

출처 Künzel, Sekhon, Bickel & Yu, "Metalearners for Estimating Heterogeneous Treatment Effects Using Machine Learning", PNAS 116(10), 2019, pnas.org/doi/10.1073/pnas.1804597116

처치를 201번째 입력으로: 효과가 정규화에 짓눌린다

S-learner(Single)는 처치 지시변수 \(D\)를 공변량에 이어 붙여 모형 하나를 학습한다.

바우처 예제에서 \(D\)는 201번째 입력이 된다. 문제는 현대 ML 모형이 전부 정규화된다는 사실이다. 부스팅이라면 트리가 \(D\)로 분할할 유인이 있어야 하는데, 효과가 작으면 200개의 강력한 예측변수(업종, 상권, 기존 매출)에 밀려 \(D\) 분할이 거의 일어나지 않는다. 신경망이라면 weight decay가 \(D\)에 연결된 가중치를 다른 입력과 같은 잣대로 깎는다. 모형 입장에서 \(D\)는 예측 오차를 조금 줄여 주는 변수 하나일 뿐, 우리가 알고 싶은 바로 그 변수라는 특별 대우가 없다.

그 결과 \(\hat\mu(x,1)\)과 \(\hat\mu(x,0)\)이 거의 같아져 \(\hat\tau_S\)가 0 쪽으로 짓눌린다. 진짜 효과가 매출 증가율 +2%p인데 추정이 +0.3%p로 나오는 식의 체계적 과소추정이다. 노이즈가 아니라 편향이므로 표본을 늘려도 사라지지 않는다. 정규화가 강할수록, 효과가 작을수록, 공변량이 많을수록 심해진다. 이 수축의 크기를 실습에서 닫힌 공식으로 직접 확인한다.

출처 Künzel 외, PNAS 116(10), 2019, S-learner 정의와 시뮬레이션 비교 · Curth & van der Schaar, "Nonparametric Estimation of Heterogeneous Treatment Effects: From Theory to Learning Algorithms", AISTATS, 2021, arxiv.org/abs/2101.10943

둘로 나눠 배우기: 없는 이질성이 만들어진다

T-learner(Two)는 반대 극단이다. 처치 점포 2,000곳으로 \(\hat\mu_1\), 대조 점포 8,000곳으로 \(\hat\mu_0\)을 완전히 따로 학습하고 차분한다.

\(D\)가 묻힐 일은 없다. 대신 두 가지 대가를 치른다. 첫째, 2,000곳만으로 학습한 \(\hat\mu_1\)은 8,000곳으로 학습한 \(\hat\mu_0\)보다 분산이 훨씬 크다. 공변량 200개를 2,000개 표본으로 감당해야 하니 과적합과 과소적합 사이에서 흔들린다. 둘째, 더 미묘한 문제로, 두 모형은 서로를 전혀 모른 채 각자 학습되므로 각자의 예측 오차 요철이 서로 무관하다. 차분하는 순간 두 요철이 더해져서 \(\hat\tau_T(x)\)의 굴곡이 되고, 이 굴곡은 효과의 이질성처럼 보인다.

진짜 효과가 모든 점포에 +2%p로 균일해도, 추정된 \(\hat\tau_T(x)\)는 −3%p에서 +7%p까지 출렁이는 가짜 이질성을 보일 수 있다. "온라인 매출 비중이 낮은 점포에서 효과가 크다"는 발견이 사실은 \(\hat\mu_1\)의 과적합 요철일 수 있다는 뜻이다. CATE 추정에서 가장 위험한 실패 유형이다. 틀린 평균은 눈에 띄지만, 가짜 이질성은 그럴듯한 이야기가 되어 정책 타깃팅까지 흘러간다.

출처 Künzel 외, PNAS 116(10), 2019 · Nie & Wager, "Quasi-Oracle Estimation of Heterogeneous Treatment Effects", Biometrika 108(2), 2021, §1의 T-learner 비판, arxiv.org/abs/1712.04912

의사효과를 만들고, 다시 회귀하고, 교차로 섞는다

퀸젤 등의 X-learner는 T-learner를 두 단계 더 밀어붙인다. 바우처 숫자로 따라가 보자.

1. 1단계 — T-learner와 동일. \(\hat\mu_1\)(처치 2,000곳), \(\hat\mu_0\)(대조 8,000곳)을 학습한다.
2. 2단계 — 개체별 의사효과(imputed effect)를 만든다. 처치받은 점포 \(i\)의 "받지 않았다면"을 \(\hat\mu_0(x_i)\)로 채운다. 예컨대 어느 처치 점포의 실제 매출 증가율이 \(Y_i=+9\%\)이고 \(\hat\mu_0(x_i)=+6\%\)이면 \(\tilde\tau_i^{(1)} = 9-6 = +3\%\text{p}\). 대조 점포 \(j\)는 반대로 "받았다면"을 \(\hat\mu_1(x_j)\)로 채운다. \(\hat\mu_1(x_j)=+7\%\), \(Y_j=+5\%\)이면 \(\tilde\tau_j^{(0)} = 7-5=+2\%\text{p}\). 이제 10,000곳 전부가 효과의 잡음 섞인 관측치를 하나씩 갖는다. \[ \tilde\tau_i^{(1)} = Y_i - \hat\mu_0(x_i) \quad (D_i=1), \qquad \tilde\tau_j^{(0)} = \hat\mu_1(x_j) - Y_j \quad (D_j=0) \]
3. 3단계 — 집단별 2차 회귀. 의사효과를 목표변수로 하는 회귀를 집단별로 다시 학습해 \(\hat\tau_1(x)\)(처치 쪽), \(\hat\tau_0(x)\)(대조 쪽)을 얻는다. 효과 함수 \(\tau(x)\)는 보통 결과 함수 \(\mu(x)\)보다 단순하므로(몇 개 변수에만 의존하는 경우가 많다) 이 2차 회귀는 1차보다 쉽다.

마지막으로 성향점수 \(g(x)=\Pr(D=1\mid X=x)\)로 두 추정을 교차 가중결합한다.

가중치가 "교차"인 이유가 이 레시피의 심장이다. 약한 고리 논리로 읽으면 된다. \(\hat\tau_0\)은 대조 점포의 의사효과 \(\hat\mu_1(x_j)-Y_j\)에서 왔는데, 이 식에서 실측이 아닌 부분, 즉 약한 고리는 \(\hat\mu_1\)이다. \(\hat\mu_1\)은 처치 점포가 많은 영역 — 성향점수가 높은 영역 — 에서 정확하다. 따라서 \(g(x)\)가 높은 지점일수록 \(\hat\tau_0\)을 믿는 것이 각 추정치를 자신이 정확한 영역에서 쓰는 조합이 된다. \(\hat\tau_1\)에 \(1-g(x)\)를 주는 것도 같은 논리의 거울상이다.

출처 Künzel, Sekhon, Bickel & Yu, PNAS 116(10), 2019, §2(X-learner 정의)와 Fig. 2(불균형 시뮬레이션), pnas.org/doi/10.1073/pnas.1804597116

잔차 대 잔차의 기울기가 곧 τ(x)

출발점은 1988년 로빈슨(Robinson)의 부분선형 모형 분해다. \(m(x)=\mathbb{E}[Y\mid X=x]\), \(g(x)=\mathbb{E}[D\mid X=x]\)라 두면 결과를 이렇게 쪼갤 수 있다.

말로 풀면 이렇다. 결과에서 "\(X\)로 예측되는 부분" \(m(X)\)을 빼고, 처치에서 "\(X\)로 예측되는 부분" \(g(X)\)을 빼면, 남은 잔차끼리의 관계가 순수한 처치효과다. 교란은 정의상 \(X\)를 경유해 \(Y\)와 \(D\) 양쪽에 영향을 주는 경로인데, 양쪽에서 \(X\)의 예측분을 빼는 순간 그 경로가 두 잔차 어디에도 남지 않기 때문이다. 바우처 예제로 말하면, "디지털 친화적 점주는 신청도 많이 하고 매출도 원래 잘 오른다"는 선택 편향이 \(\hat m\)과 \(\hat g\)의 차감으로 동시에 걷힌다.

R-learner는 이 등식을 그대로 손실함수로 바꾼다.

이 손실은 \((D_i-\hat g)^2\)을 가중치, 잔차비 \((Y_i-\hat m)/(D_i-\hat g)\)를 목표로 하는 가중 회귀로 변형되므로, 가중치를 받는 아무 지도학습 모형으로나 최소화할 수 있다. 처음부터 \(\tau\)만을 목표변수로 하는 회귀라는 점에서, \(\mu\)를 맞추고 \(\tau\)를 부산물로 얻던 S·T와 근본적으로 다르다.

출처 Nie & Wager, "Quasi-Oracle Estimation of Heterogeneous Treatment Effects", Biometrika 108(2), 2021, arxiv.org/abs/1712.04912 · Robinson, "Root-N-Consistent Semiparametric Regression", Econometrica 56(4), 1988.

결과모형의 답 + 틀린 만큼의 가중 보정

케네디(Kennedy)의 DR-learner는 개체마다 AIPW(augmented inverse probability weighting) 의사결과를 만든다. 식 전체를 쓰고 구조를 뜯어보자.

앞부분은 결과모형의 예측 차이, 즉 T-learner의 답이다. 뒷부분은 그 예측이 실측과 어긋난 만큼 — 잔차 \(Y_i-\hat\mu_{D_i}(X_i)\) — 을 역확률로 가중해 보정하는 항이다. 바우처를 받은 점포(\(D_i=1\))는 처치 쪽 보정항만 살아남고, 성향점수가 낮은데도 처치받은 희귀한 점포일수록 \(1/\hat g\)로 크게 증폭되어, 그런 영역에서 결과모형이 저지른 오차를 소수의 실측이 대표로 되갚는다.

"둘 중 하나만 맞아도"가 작동하는 방식은 이렇다. 결과모형이 맞으면 잔차의 조건부 기대값이 0이므로 보정항이 평균적으로 사라지고 앞부분이 정답을 준다. 성향점수가 맞으면 역확률 가중이 표본 선택을 정확히 되돌려, 보정항이 결과모형의 오차를 기대값에서 정확히 상쇄한다. 어느 경로로든 \(\mathbb{E}[\hat\psi_i \mid X_i=x] = \tau(x)\)가 성립한다. 이것이 이중강건(doubly robust)이라는 이름의 뜻이다.

남은 절차는 하나뿐이다. \(\hat\psi_i\)를 \(X_i\)에 회귀하면 CATE가 나온다. "의사결과 만들기 + 회귀 한 번"이라는 절차의 단순함은 구현과 디버깅의 이점이기도 하다. 각 단계가 평범한 지도학습이므로 어디서 무엇이 잘못되는지 단계별로 점검할 수 있고, 이론 보장(오라클에 가까운 오차 한계)도 강하다. 표 데이터 실무에서 1순위로 시도할 레시피로 꼽는 이유다.

출처 Kennedy, "Towards Optimal Doubly Robust Estimation of Heterogeneous Causal Effects", Electronic Journal of Statistics 17(2), 2023, arxiv.org/abs/2004.14497 · Curth & van der Schaar, AISTATS, 2021, arxiv.org/abs/2101.10943

분할 기준을 바꾸고, 표본을 둘로 가른다

와거(Wager)와 아테이(Athey)의 인과 숲은 새 알고리즘이라기보다 랜덤 포레스트의 두 곳을 정확히 겨냥해 수술한 것이다.

• 수술 1 — 분할 기준 교체. 보통의 회귀 트리는 예측 오차를 줄이는 분할을 찾는다. 인과 트리는 좌우 자식 노드의 처치효과 추정치가 최대한 달라지는 분할을 찾는다. 잎 안에서는 처치–대조 평균 차이로 효과를 추정하므로, 트리가 효과의 이질성이 있는 방향으로 자란다. 바우처 예제라면 "온라인 매출 비중 15% 미만"처럼 효과가 갈리는 경계를 트리가 스스로 찾는 것이다.
• 수술 2 — 정직성(honesty). 각 트리마다 표본을 반으로 나눠, 한쪽으로는 분할 구조만 정하고 다른 쪽으로는 잎 안의 효과만 계산한다. "이질성이 커 보이는 분할을 고른 데이터"로 효과까지 계산하면, 우연히 커 보인 노이즈가 효과 추정에 다시 쓰여 이질성이 과장된다. 표본 분리가 이 선택 편향을 끊는다.

정직성은 공짜가 아니다. 트리 하나하나는 데이터의 절반만으로 효과를 계산하니 더 시끄럽다. 그 대가로 얻는 것이 점근 정규성이다. 정직성 조건 아래에서 숲의 추정치 \(\hat\tau(x)\)가 참값을 중심으로 정규분포로 수렴함이 증명되었고, 분산도 추정 가능하므로 점별 신뢰구간이 나온다. "이 점포의 효과는 +3.1%p ± 1.2%p"라고 말할 수 있는, CATE 방법 중 드문 능력이다. S·T·X·R·DR은 기본형에서는 점추정만 준다.

숲을 보는 또 하나의 관점은 국소 가중 추정기다. 새 점 \(x\)의 효과를 추정할 때, 숲은 여러 트리에서 \(x\)와 같은 잎에 자주 떨어진 이웃 개체들에 데이터 적응적 가중치를 주고 그 가중치로 국소 처치–대조 비교를 한다. 커널 회귀의 커널을 데이터가 스스로 배우는 셈이다. 이 관점을 밀고 나간 일반화가 GRF(Generalized Random Forests)로, 같은 가중치를 도구변수·분위수 효과 등 임의의 국소 추정방정식에 꽂는다. 소프트웨어 grf가 이 틀의 구현이며, 신경망 CATE 방법을 제안하는 논문이라면 반드시 비교해야 하는 기준선이다.

출처 Wager & Athey, "Estimation and Inference of Heterogeneous Treatment Effects Using Random Forests", JASA 113(523), 2018, arxiv.org/abs/1510.04342 · Athey, Tibshirani & Wager, "Generalized Random Forests", Annals of Statistics 47(2), 2019, arxiv.org/abs/1610.01271

언제 무엇을 쓰는가

바우처 예제 같은 표 형태의 중간 규모 데이터라면, DR-learner + 부스팅, X-learner, Causal Forest가 5장의 신경망 전용 구조보다 안정적인 경우가 많다.

어떤 러너를 쓰든 nuisance(\(\hat\mu_d, \hat m, \hat g\)) 학습에는 교차적합(cross-fitting)을 결합하는 것이 현재의 표준이다. 표본을 K개로 접어, 각 개체의 nuisance 예측은 그 개체가 속하지 않은 접기에서 학습한 모형으로 만든다. 자기 자신에 과적합된 모형이 자신의 잔차·의사결과를 만들면 직교성과 이중강건성의 전제가 무너지기 때문이다. 원리와 이론은 7장 DML에서 정면으로 다룬다.

출처 Künzel 외, PNAS, 2019 · Chernozhukov 외, "Double/Debiased Machine Learning for Treatment and Structural Parameters", Econometrics Journal 21(1), 2018 (교차적합), arxiv.org/abs/1608.00060 · Grinsztajn, Oyallon & Varoquaux, "Why Do Tree-Based Models Still Outperform Deep Learning on Tabular Data?", NeurIPS Datasets and Benchmarks, 2022, arxiv.org/abs/2207.08815

결과를 ΔY로 바꾸면 메타러너가 조건부 DiD가 된다

이 시리즈 전반부(1~3장)의 DiD와 이 장의 CATE 기계는 한 줄의 치환으로 결합된다. 결과변수를 수준 \(Y\)가 아니라 전후 변화량 \(\Delta Y_i = Y_{i,\text{후}} - Y_{i,\text{전}}\)으로 두는 것이다.

차분하는 순간 시간에 대해 변하지 않는 개체 고정효과 — 점포의 입지, 점주의 수완, 단골의 규모 — 가 자동으로 제거된다. 그 위에서 메타러너가 추정하는 "변화량의 CATE"는 곧 조건부 DiD 효과다. 1장의 2×2 DiD가 "변화량의 평균 차이"였다면, 이것은 "변화량의 차이가 \(x\)에 따라 어떻게 다른가"다. 바우처 예제로 말하면, 매출 증가율의 전후 변화를 결과로 놓고 DR-learner를 돌려 "온라인 비중 10% 미만 점포에서만 바우처 효과가 유의하다"는 타깃팅 근거를 얻는 식이다.

식별 가정도 그에 맞게 번역된다. 수준의 무교란 대신 조건부 평행추세 — 같은 \(x\)를 가진 처치·대조 점포는 처치가 없었다면 같은 기울기로 움직였을 것 — 가 필요하다. 1장에서 "수준 차이는 무해하다"고 배운 것과 같은 이유로, \(x\)가 같은 점포끼리 수준이 달라도 상관없다. 요구되는 것은 조건부 변화의 평행뿐이다.

출처 Sant'Anna & Zhao, "Doubly Robust Difference-in-Differences Estimators", Journal of Econometrics 219(1), 2020, arxiv.org/abs/1812.01723 · Shalit, Johansson & Sontag, "Estimating Individual Treatment Effect: Generalization Bounds and Algorithms", ICML, 2017 (TARNet, 5장 참조), arxiv.org/abs/1606.03976

정규화가 효과를 얼마나 눌러 없애는가

한 줄 목표: S-learner의 처치 계수가 리지 수축 공식에 따라 0 쪽으로 체계적으로 눌리는 것, 그리고 효과가 작을수록·처치 비율이 극단일수록 상대 왜곡이 커지는 것을 확인한다.

균일한 효과가 왜 출렁이는 곡선으로 보이는가

한 줄 목표: 참효과가 모두에게 +2%p로 균일해도, 두 독립 모형의 예측 오차가 차분에서 합성되어 ±2SD 밴드만큼의 가짜 이질성이 만들어지는 것을 확인한다.

CATE 순위표를 그대로 정책에 쓰면 안 되는 이유

출처 Andrews, Kitagawa & McCloskey, "Inference on Winners", Quarterly Journal of Economics, 2024 (선택 후 추론) · Chernozhukov, Demirer, Duflo & Fernández-Val, "Generic Machine Learning Inference on Heterogeneous Treatment Effects in Randomized Experiments", 2018–, 분위 집단 검증(GATES), arxiv.org/abs/1712.04802

퀴즈

인용 원칙 본문 수치는 원문 기준으로 표기했다. 바우처 예제의 수치(+2%p, −3~+7%p 등)는 개념 설명용 가상 예시이며, 실습의 공식은 명시한 단순화 가정 아래에서의 닫힌 해다.