인과추론 실습
DiD · 합성통제 · 반사실 예측 · DML 을 실데이터로

prop99.csv 를 열어 놓고 멈춘 손

1988년 11월, 캘리포니아 주민투표에서 담배 한 갑당 25센트를 더 걷어 금연 캠페인에 쓰는 Proposition 99가 통과됐다. 4장의 도입은 여기서 "비교할 두 번째 캘리포니아가 없다면 만들면 된다"는 발상으로 이어졌다. 이번 회차의 장면은 그 뒤에 온다. 세미나가 끝난 다음 월요일 아침, 4장을 읽은 대학원생이 39개 주 × 31년의 prop99.csv 를 열어 놓고 앉아 있다. 가중치가 비음이고 합이 1이어야 한다는 것은 안다. 그런데 그 가중치를 어느 함수로 구하는가. 위약검정의 p 값은 정확히 무엇을 몇으로 나눈 값인가. 결과가 나오면 표에 어느 열을 두는가.

이 간극은 논리를 몰라서가 아니라 절차가 흩어져 있어서 생긴다. 11장이 그 절차를 "식별 → 추정 → 반박"이라는 세 단계로 모았다면, 이 회차는 그 세 단계를 네 개의 실데이터 위에서 실제로 돌린다. 코드는 20행 안팎의 블록 여섯 개이고, 같은 코드가 노트북의 셀로 들어 있다. 페이지의 모든 숫자는 그 코드를 실행해서 얻은 값이며, 원 논문과 다른 곳은 다르다고 적었다.

출처 인과추론 4장 반사실 시계열 예측 · 11장 도구 지형도와 읽기 일정 · Abadie, Diamond & Hainmueller, "Synthetic Control Methods for Comparative Case Studies", JASA 105(490), 2010, doi.org/10.1198/jasa.2009.ap08746

네 데이터의 모양이 네 방법을 고른다

처치 단위가 여럿이고 시점이 짧으면 DiD, 처치 단위가 하나이고 대조 시계열이 길면 합성통제, 대조 시계열조차 없으면 예측기, 개인 횡단면이면 DML 이다. 방법을 먼저 고르고 데이터를 맞추는 것이 아니라 그 반대다.

출처 Huntington-Klein, The Effect, ch. 18 (Difference-in-Differences), theeffectbook.net · synthdid 데이터, github.com/synth-inference/synthdid · Dehejia 데이터 페이지, users.nber.org/~rdehejia/nswdata2.html · 서울열린데이터광장 지하철 역별 일별 승하차, data.seoul.go.kr (OA-12914)

2×2 → 회귀 → 주 클러스터 표준오차

한 줄 목표: 네 칸 평균, 상호작용 회귀, 이원 고정효과 회귀가 같은 점추정을 내는 것을 확인하고, 표준오차만 클러스터에 따라 스무 배 차이 나는 것을 본다.

2011년 7월 캘리포니아는 운전면허 갱신 시 장기기증 등록 질문을 "예/아니오를 반드시 고르는" active choice 방식으로 바꿨다. 등록률이 오르리라는 기대와 달리, 캘리포니아의 등록률은 다른 26개 주가 조금 오르는 동안 오히려 내려갔다.

실행 2026-09-12 · statsmodels 0.15.0 · 등록률은 0~1 비율이므로 −0.0225 = −2.25 %p

출처 Kessler & Roth, "Don't Take 'No' for an Answer: An Experiment with Actual Organ Donor Registrations", NBER WP 20378, 2014, nber.org/papers/w20378 · Huntington-Klein, The Effect, ch. 18, theeffectbook.net · Bertrand, Duflo & Mullainathan, QJE 119(1), 2004 (클러스터링).

event study: 처치 전 계수가 0 인가

처치 후 세 분기의 계수는 −0.020 ~ −0.022 로 안정적이고 95% 구간이 모두 0 을 제외한다. 처치 전 두 계수 중 하나(2011Q1, +0.006)는 작지만 0 을 제외해, 평행추세의 정황 증거에 흠이 하나 있다.

출처 Roth, "Pretest with Caution: Event-Study Estimates after Testing for Parallel Trends", AER: Insights 4(3), 2022 · Rambachan & Roth, "A More Credible Approach to Parallel Trends", Review of Economic Studies 90(5), 2023 · 인과추론 2장 평행추세는 검증할 수 있는가

비음·합 1 가중치를 scipy 로 푼다

한 줄 목표: 4장 §3의 최적화 문제 \(\min_w \sum_{t \le 1988} (Y_{1t} - \sum_j w_j Y_{jt})^2,\; w_j \ge 0,\; \sum_j w_j = 1\) 을 scipy.optimize.minimize 로 직접 풀고, 가중치 표와 사전 RMSPE 를 얻는다.

실행 2026-09-12 · scipy 1.16.3 SLSQP · 가중치 합 1.000, 최솟값 0

출처 Abadie, Diamond & Hainmueller, JASA 105(490), 2010, §3 (Prop 99 결과·가중치 표), doi.org/10.1198/jasa.2009.ap08746 · Abadie, "Using Synthetic Controls", JEL 59(2), 2021, doi.org/10.1257/jel.20191450

38개 주를 차례로 "처치"로 두면

사후/사전 RMSPE 비율로 줄을 세우면 캘리포니아는 39개 주 중 3위(p = 3/39 = 0.077)다. 사전 적합이 캘리포니아의 2배보다 나쁜 주를 빼고 사후 격차 크기로 세우면 29개 중 1위(p = 0.034)가 된다. 두 숫자를 모두 적는 것이 정직한 보고다.

출처 Abadie, Diamond & Hainmueller, JASA 105(490), 2010, §3.3 (placebo 검정, Fig. 4–7) · 인과추론 4장 §3 위약 순열검정

위약 순열 뷰어: 39개 주를 하나씩 처치로

한 줄 목표: 순위표의 숫자 하나하나가 어떤 경로에서 나왔는지 보고, "비율이 큰 주"와 "격차가 큰 주"가 같지 않다는 것을 눈으로 확인한다.

출처 경로 데이터는 이 페이지의 40_causal_experiment.py 실행 결과(synthdid 의 california_prop99 사용). 절차는 Abadie, Diamond & Hainmueller (2010).

예측기는 부품, 규칙은 둘

한 줄 목표: 개입 전 데이터로만 학습한 예측기(릿지 기준선과 MLP)로 개입 후를 예측하고, 위약 시점 검정의 잔차로 등각 구간을 만든다. 4장 §6의 두 규칙 — 학습 데이터의 경계, 불확실성 정량화 — 을 코드 수준에서 지킨다.

출처 인과추론 4장 §6 딥러닝 확장: 예측기 교체의 두 규칙 · Brodersen 외, "Inferring Causal Impact Using Bayesian Structural Time-Series Models", Annals of Applied Statistics 9(1), 2015 (반사실 예측 설계의 원형) · Chernozhukov, Wüthrich & Zhu, "An Exact and Robust Conformal Inference Method for Counterfactual and Synthetic Controls", JASA 116(536), 2021.

2020년 손실 승차 약 8억 명, 구간은 그 10분의 1 폭

릿지와 MLP 는 위약 연도에서 같은 방향으로 1.4% 빗나갔고, 2020년 2~12월 손실을 각각 −741 / −797백만 명(−30% / −31%)으로 추정한다. 두 예측기의 차이(56백만 명)가 등각 구간의 폭과 같은 규모라는 것이 이 결과의 정직한 해석이다.

단위 백만 명 · 실행 2026-09-12 · RTX 4090 · torch 2.11 · MLP seed 0–4 (seed 간 일별 예측 표준편차 평균 0.087) · 연간 구간 = 월 구간을 완전상관 가정으로 합산(보수적)

출처 질병관리청, 코로나19 위기경보 '심각' 격상(2020-02-23) 보도자료, kdca.go.kr (보도자료) · Angelopoulos & Bates, "Conformal Prediction: A Gentle Introduction", Foundations and Trends in ML 16(4), 2023, arxiv.org/abs/2107.07511

기후동행카드(2024-01-27): 검출 불가 격차가 구간 안

2022~2023년으로 학습해 2024년 2~12월을 예측하면 격차는 MLP −2.7%, 릿지 −5.4% 이지만, 11개월 모두 90% 구간이 0 을 포함한다. 이 설계로는 효과를 검출할 수 없다는 것이 결과다.

학습 2022-01-01 ~ 2023-12-31 (추세 원점 2022-01-01) · 위약: 2023-01-27 가짜 개입, 2022년만 학습 → 2023-02~12 예측

출처 서울특별시, 기후동행카드 시범사업 시행(2024-01-27) 안내, news.seoul.go.kr/traffic/climatecard

그래프를 먼저 적고, 추정기는 나중에 고른다

한 줄 목표: DoWhy 에 그래프를 명시해 backdoor 식별식을 얻고, 그 식별식 위에서 선형회귀·성향점수 매칭·LinearDML 세 추정치를 나란히 놓는다.

DML 의 직교 스코어를 적어 두면 표의 "SE" 열이 어디서 왔는지 보인다. 7장 §2의 부분선형모형 \(Y = \theta D + f(X) + \varepsilon\) 에서 결과와 처치를 양쪽 다 잔차화해

여기서 \(\hat m_{-k(i)}, \hat p_{-k(i)}\) 는 관측치 \(i\) 가 속하지 않은 겹으로 학습한 결과모형과 성향함수(교차적합)다. 두 nuisance 의 오차가 곱으로만 들어가므로 GradientBoosting 이 \(n^{-1/4}\) 로만 수렴해도 \(\sqrt n\) 신뢰구간이 유효하다.

실행 2026-09-12 · dowhy 0.14 · econml 0.17.0 · seed 0 · DML 행은 econml 직접 호출(random_state 0) · DoWhy 래퍼 경유 시 겹 분할 난수로 1,978~2,019 / −569~−654 · 선형회귀 SE 는 HC1 · PSM 은 StandardScaler+LogisticRegression 성향점수의 1-NN

출처 Sharma & Kiciman, "DoWhy: An End-to-End Library for Causal Inference", arXiv:2011.04216, 2020, arxiv.org/abs/2011.04216 · Chernozhukov 외, "Double/Debiased Machine Learning for Treatment and Structural Parameters", Econometrics Journal 21(1), 2018, doi.org/10.1111/ectj.12097 · Dehejia & Wahba, "Causal Effects in Nonexperimental Studies", JASA 94(448), 1999 · LaLonde, "Evaluating the Econometric Evaluations of Training Programs with Experimental Data", AER 76(4), 1986.

반박 3종: 통과는 증명이 아니라 "탈락하지 않음"

한 줄 목표: 위약 처치·가짜 교란·부분표본 세 검정을 한 루프로 돌려 표 하나로 만든다. 실험표본의 DML 추정치는 셋을 모두 통과했다.

num_simulations 30 · random_seed 0 · 반박 대상은 DoWhy 래퍼의 DML 추정치(1,995 / −569) · 노트북은 20회

출처 DoWhy 문서, 반박 검정 목록, pywhy.org/dowhy · 인과추론 11장 §2 최소 워크플로

CATE 분포와 "효과가 큰 하위집단"의 프로파일 표

CausalForestDML 의 개인별 효과는 평균 1,948달러, 표준편차 1,051달러로 퍼져 있고, 공변량 K-means(k = 4)로 나누면 고졸 이상 88명의 군집만 90% 구간이 0 을 제외한다(3,039달러). 나머지 세 군집은 점추정은 양수지만 구간이 0 을 걸친다.

CausalForestDML(n_estimators 1000, min_samples_leaf 10, cv 5, nuisance GradientBoosting) · K-means n_init 20 · 군집 구간은 econml ate_inference(X[군집]) · 군집 이름은 공변량 평균을 보고 붙인 것

출처 Athey & Wager, "Estimating Treatment Effects with Causal Forests: An Application", Observational Studies 5, 2019, arxiv.org/abs/1902.07409 · EconML 저장소, github.com/py-why/EconML · 인과추론 6장 메타러너와 인과 숲

네 분석을 한 표에: 식별 가정 → 정황 증거 → 추정치·불확실성 → 반박·기준선

아래 표는 이 회차의 네 분석을 11장 체크리스트의 열로 정리한 것이다. 노트북의 마지막 셀이 같은 표를 코드로 만든다.

출처 인과추론 11장 §3 논문 작성 공통 체크리스트 · Roth, Sant'Anna, Bilinski & Poe, "What's Trending in Difference-in-Differences?", Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194

노트북의 ① 블록만 바꾼다

노트북은 데이터 로드 셀(②)의 네 변수 od, p99, sub, la 만 바꾸면 나머지 셀이 그대로 돌아가도록 짜여 있다. 본인 데이터의 모양을 아래 표에서 찾아 그 행의 셀을 바꾼다.

퀴즈

인용 원칙 표의 수치는 2026-09-12 에 40_causal_experiment.py 를 실행한 값이다(seed 0, MLP seed 0–4, RTX 4090, dowhy 0.14, econml 0.17.0, statsmodels 0.15.0, torch 2.11.0, scipy 1.16.3). 원 논문의 수치는 해당 논문 본문 기준이며, 이 페이지의 실행값과 다른 곳은 본문에 차이의 이유를 적었다.