반사실
시계열 예측

주민투표가 통과된 날, 대조군이 사라졌다

1988년 11월, 캘리포니아 주민투표에서 Proposition 99가 통과됐다. 담배 한 갑당 25센트의 세금을 더 걷고, 그 돈으로 대규모 금연 캠페인을 벌이는 법안이다. 이듬해 1월 시행 이후 캘리포니아의 1인당 담배 소비는 눈에 띄게 줄었다. 그런데 이 감소가 정책 때문인가? 담배 소비는 그 전부터 전국적으로 줄고 있던 참이었다.

1장의 답은 "대조군의 변화량을 빼라"였다. 그런데 여기서 문제가 생긴다. 처치를 받은 단위가 캘리포니아 하나다. 미국의 어떤 주도 캘리포니아와 같지 않다. 인구도, 소득도, 담배 소비의 수준과 추세도 다르다. 네바다와 비교하면 이렇게 나오고 코네티컷과 비교하면 저렇게 나온다면, 대조군 선택 자체가 결론을 조작하는 손잡이가 된다.

아바디(Abadie)와 동료들의 발상은 단순하고 대담했다. 완벽한 비교 대상이 하나도 없다면, 규제가 없던 38개 주를 가중평균해서 하나를 만들자. 유타 33%, 네바다 23%, 몬태나 20%… 이렇게 조립된 "합성 캘리포니아"는 처치 이전 캘리포니아의 담배 소비 경로를 거의 정확히 재현했고, 처치 이후 두 경로가 벌어진 만큼이 정책 효과로 읽혔다. 이 장은 이 발상과, 같은 뿌리에서 나온 방법들의 계보를 다룬다.

출처 Abadie, Diamond & Hainmueller, "Synthetic Control Methods for Comparative Case Studies", JASA 105(490), 2010, doi.org/10.1198/jasa.2009.ap08746 · Abadie, "Using Synthetic Controls: Feasibility, Data Requirements, and Methodological Aspects", Journal of Economic Literature 59(2), 2021, doi.org/10.1257/jel.20191450

처치 단위가 하나뿐이다

1~3장의 DiD는 처치군과 대조군이 여럿 있고 평균을 낼 수 있는 상황을 전제했다. 그런데 현실에는 이런 질문이 많다. "우리 회사가 3월 1일 TV 광고를 시작했는데, 광고가 매출을 얼마나 올렸나?" 처치를 받은 단위가 우리 회사 하나다. 비교할 평균이 없다.

단위가 하나면 무엇이 무너지는지 정확히 짚자. 첫째, 개체 간 평균이 없으므로 잡음이 씻기지 않는다. 처치 단위의 개별적 부침이 전부 추정치에 실린다. 둘째, "모든 대조 단위를 동일하게 취급하는" DiD식 대조군 구성이 정당화되지 않는다. 캘리포니아의 반사실을 만드는 데 유타와 앨라배마가 같은 발언권을 가질 이유가 없다. 셋째, 표본 크기 1에 대해서는 통상의 표준오차 공식이 정의되지 않는다.

이 계열의 발상은 하나다. 처치 이전 데이터로 "개입이 없었을 세계"의 경로를 예측하고, 실제 관측치와 그 예측의 차이를 효과로 읽는다. 즉 인과추론 문제를 시계열 예측 문제로 바꾼다. 2장에서 본 사건연구 그림이 "가정 진단 도구"였다면, 여기서는 예측된 반사실 경로 자체가 추정량이다.

출처 Brodersen 외, "Inferring Causal Impact Using Bayesian Structural Time-Series Models", Annals of Applied Statistics 9(1), 2015, doi.org/10.1214/14-AOAS788 · Abadie, JEL 59(2), 2021 (앞 카드와 동일).

네 개의 부품으로 분해하고, 네 단계로 추정한다

Google이 광고 캠페인 효과 측정을 위해 개발했다. 관측 시계열을 몇 개의 부품으로 분해하는 베이지안 구조적 시계열(BSTS, Bayesian Structural Time Series) 모형이 심장이다.

수준 \(\mu_t\)는 고정 상수가 아니라 매 시점 조금씩 표류하는 확률적 수준이다. 그래서 "구조적" 시계열이다. \(X_t\)는 처치의 영향을 받지 않는 대조 시계열들이고, 이들이 DiD의 대조군 역할을 맡는다. 절차는 네 단계다.

1. 대조 시계열을 모은다. 처치의 영향을 받지 않으면서 처치 시계열과 함께 움직여 온 지표들 — 광고가 나가지 않은 다른 지역의 매출, 산업 전체 지수, 경쟁사 검색량. "함께 움직여 왔다"는 통계로 확인하지만, "영향을 받지 않는다"는 통계가 아니라 제도적 지식으로 따져야 한다.
2. 처치 이전 구간에서만 모형을 적합한다. 대조 시계열이 많을 때는 spike-and-slab 사전분포가 각 계수에 "정확히 0일 확률"을 부여해, 소수의 유용한 지표만 자동으로 골라 쓴다. 변수 선택이 모형 안에 내장되어 있는 셈이다.
3. 처치 이후 구간의 반사실을 예측한다. 적합된 모형을 처치 이후로 전개하되, 대조 시계열의 실제 관측값을 계속 입력으로 쓴다. 광고 이후에 경기 전체가 좋아졌다면 그 정보가 \(X_t\)를 타고 반사실에 반영된다. 베이지안이므로 반사실은 한 줄이 아니라 사후분포, 즉 신용구간이 달린 띠로 나온다.
4. 차이를 읽는다. 시점별 효과 \(Y_t - \hat{Y}^{(0)}_t\)와 누적 효과 \(\sum_t \big(Y_t - \hat{Y}^{(0)}_t\big)\)를 보고한다. 누적 효과의 신용구간이 0을 포함하지 않으면 효과가 있었다고 판단한다.

출처 Brodersen 외, Annals of Applied Statistics 9(1), 2015, doi.org/10.1214/14-AOAS788 · CausalImpact R 패키지 공식 문서, google.github.io/CausalImpact · Scott & Varian, "Predicting the Present with Bayesian Structural Time Series", Int. J. of Mathematical Modelling and Numerical Optimisation 5(1/2), 2014.

온라인 광고 캠페인: 수도권에만 2주

어느 커머스가 수도권에만 2주간 TV·온라인 광고를 집행했다. 처치 시계열은 수도권 일별 주문수. 대조 시계열은 광고가 나가지 않은 영남권·호남권의 일별 주문수와 카테고리 전체 검색지수다.

1. 광고 전 90일로 모형을 적합했더니, 수도권 주문수가 대략 영남권 주문수 × 1.4 + 검색지수 × 0.2의 조합으로 잘 설명되었다(spike-and-slab이 호남권은 포함확률 낮음으로 걸러냈다고 하자).
2. 광고 기간 14일 동안 이 조합이 예측한 반사실은 일평균 10,000건. 실제 관측은 일평균 11,300건이었다.
3. 시점별 효과는 일평균 +1,300건(+13%), 누적 효과는 약 +18,200건. 보고서의 핵심은 이 숫자가 아니라 함께 나오는 신용구간이다. 누적 효과의 95% 신용구간이 예컨대 [+9,000, +27,000]으로 0에서 충분히 떨어져 있는지, 아니면 [−2,000, +38,000]으로 0을 품고 있는지가 결론을 가른다.

출처 Brodersen 외, Annals of Applied Statistics 9(1), 2015 (수치는 이 장의 교육용 가상 예제) · CausalImpact 공식 문서의 분석 절차와 진단 권고, google.github.io/CausalImpact/CausalImpact.html

왜 그냥 ARIMA를 쓰지 않는가

"처치 전으로 적합해서 처치 후를 예측한다"면 아무 시계열 모형이나 되는 것 아닌가. 자기 과거만 보는 예측과 BSTS 설계의 차이는 세 가지다.

출처 Brodersen 외, Annals of Applied Statistics 9(1), 2015, §2 (모형 비교 논의) · Durbin & Koopman, Time Series Analysis by State Space Methods, 2nd ed., Oxford UP, 2012.

비음 가중치, 합은 1 — 외삽이 불가능한 반사실

CausalImpact가 반사실을 "모형의 예측"으로 만든다면, 합성통제법(Synthetic Control Method)은 대조 단위들의 명시적 가중조합으로 만든다. 대조 단위 \(j = 1,\dots,J\)에 가중치를 부여하되, 두 제약을 건다.

음수 금지와 합계 1 — 즉 반사실은 대조 단위들의 볼록결합(convex combination)이다. 이 제약 때문에 외삽(extrapolation)이 불가능하다. 합성 캘리포니아의 담배 소비는 어떤 시점에서도 대조 주들의 최솟값과 최댓값 사이를 벗어날 수 없다. 회귀처럼 음의 가중치나 1을 넘는 가중치로 데이터 바깥의 값을 지어내는 일이 원천 봉쇄된다.

1. 처치 이전 기간의 결과변수 경로(그리고 소득, 인구구성 같은 예측변수들)를 처치 단위와 최대한 비슷하게 만드는 \(w\)를 최적화로 찾는다. 목적함수는 사전 구간 적합 오차, 통상 사전 RMSPE(root mean squared prediction error)로 요약한다.
2. 같은 가중치로 처치 이후 가중평균 \(\sum_j w_j\, Y_{jt}\)를 계산한 것이 반사실이다.
3. 실제 처치 단위와의 격차 \(Y_{1t} - \sum_j w_j Y_{jt}\)가 시점별 효과다.

Proposition 99 분석에서 최적화가 고른 가중치는 유타 0.33, 네바다 0.23, 몬태나 0.20 등 소수 주에 집중되었고 나머지 30여 개 주는 사실상 0이었다. 볼록결합 제약의 부산물로 가중치가 희소해지는 경향이 있어, "합성 캘리포니아는 사실상 유타+네바다+몬태나+α다"라는 한 문장 요약이 가능해진다. 이렇게 만든 합성 캘리포니아는 1970~1988년의 담배 소비 경로를 거의 겹치게 재현했고, 처치 후 두 경로는 갈수록 벌어져 2000년 시점 격차가 1인당 연간 약 26갑에 달했다.

출처 Abadie & Gardeazabal, "The Economic Costs of Conflict: A Case Study of the Basque Country", American Economic Review 93(1), 2003, doi.org/10.1257/000282803321455188 · Abadie, Diamond & Hainmueller, JASA 105(490), 2010, doi.org/10.1198/jasa.2009.ap08746 · Abadie, JEL 59(2), 2021, doi.org/10.1257/jel.20191450

표준오차가 없다면: 위약 순열검정

처치 단위가 하나뿐이라 통상의 표준오차 공식이 없다. 합성통제의 답은 p값의 논리를 공간에 대한 순열로 재구성하는 것이다.

1. 처치받지 않은 38개 주 각각에 대해 "이 주가 처치받았다고 가정하고" 같은 절차로 합성통제를 만들어 가짜(위약) 효과를 계산한다. 예컨대 "합성 유타 대 실제 유타"의 격차. 유타에는 아무 정책도 없었으므로 이 격차는 순수한 방법의 잡음이다.
2. 진짜 캘리포니아의 효과를 이 38개 위약 효과의 분포 위에 올려놓는다. 캘리포니아의 격차가 분포의 꼬리에 있으면 — 39개 중 가장 극단이면 순열 p값은 1/39 ≈ 0.026 — 우연으로 보기 어렵다고 판단한다.
3. 단, 사전 RMSPE가 나빴던 위약 단위는 비교에서 제외하는 것이 관례다. 사전 적합이 안 된 주의 사후 격차는 방법의 잡음이 아니라 적합 실패의 잡음이므로, 분포에 넣으면 비교 기준만 흐려진다. 적합 대비 격차를 한 숫자로 보는 사후/사전 RMSPE 비율 검정이 이 관례의 세련된 형태다.

출처 Abadie, Diamond & Hainmueller, JASA 105(490), 2010, §2.3 (placebo 검정) · Abadie, JEL 59(2), 2021, §5 (추론 논의), doi.org/10.1257/jel.20191450

일부 칸이 비어 있는 행렬 \(\mathbf{Y}(0)\)

패널 자료를 행이 단위, 열이 시점인 행렬로 생각하자. 우리가 원하는 것은 무처치 잠재결과 행렬 \(\mathbf{Y}(0)\)이다. 처치받지 않은 칸에서는 \(Y(0)\)이 그대로 관측되지만, 처치받은 칸(처치 단위 × 처치 이후 시점)에서는 관측되지 않는다.

즉 이 문제는 "일부 칸이 비어 있는 행렬을 채우는 문제"이고, 이는 넷플릭스가 "이 사용자가 안 본 영화에 몇 점을 줄까"를 채우던 추천 문제와 수학적으로 동일하다. Athey 외 (2021)는 \(\mathbf{Y}(0)\)에 저계수(low-rank) 가정을 건다. 풀어 말하면, 수천 개 단위·시점의 결과가 사실은 소수의 공통 요인(전국 경기, 산업 사이클) × 단위별 요인 적재량의 곱으로 움직인다는 뜻이다. \(N \times T\)개의 자유로운 숫자처럼 보이는 행렬이 실제로는 훨씬 낮은 차원 위에 놓여 있다는 가정이다.

계수(rank)를 직접 제약하는 대신, 특이값들의 합인 핵노름(nuclear norm)을 벌점으로 건 볼록 최적화로 빈칸을 채운다.

채워진 \(\hat{L}_{it}\)이 처치받은 칸의 반사실이 되고, 관측값과의 차이가 효과가 된다. Lasso가 계수 벡터를 희소하게 만들듯 핵노름 벌점은 특이값을 희소하게 — 즉 행렬을 저계수로 — 만든다.

출처 Athey, Bayati, Doudchenko, Imbens & Khosravi, "Matrix Completion Methods for Causal Panel Data Models", JASA 116(536), 2021, arxiv.org/abs/1710.10251 · Bai, "Panel Data Models with Interactive Fixed Effects", Econometrica 77(4), 2009.

서로의 약점을 메꾸는 결혼

합성통제와 DiD는 정확히 반대 지점이 약하다. 합성통제는 수준까지 맞추려다 볼록포 바깥에서 적합에 실패하고, DiD는 모든 대조 단위·모든 시점을 동일 가중하다가 처치 단위와 추세가 다른 부적절한 비교를 섞는다. Arkhangelsky 외 (2021)의 SDID(Synthetic Difference-in-Differences)는 둘을 결합한다.

1. 단위 가중치 \(\omega_j\) — 처치 단위와 사전 추세가 비슷해지도록 대조 단위 가중치를 학습한다. 합성통제와 달리 수준 차이는 절편으로 허용한다. "평행하게 만들 수 있는 대조군"을 데이터로 조립하는 것이다.
2. 시점 가중치 \(\lambda_t\) — 처치 이후를 잘 예측하는 사전 시점들에 더 큰 가중치를 학습한다. 20년 전 자료와 작년 자료가 같은 발언권을 갖는 DiD의 낭비를 없앤다.
3. 이 이중 가중치를 얹은 가중 DiD 회귀(이원 고정효과 + 처치 더미)를 돌린다. 수준 차이는 DiD의 이중차분(단위 고정효과)이 흡수하므로 합성통제처럼 수준까지 맞출 필요가 없고, 가중치 덕에 DiD보다 대조군 선택에 강건하다.

출처 Arkhangelsky, Athey, Hirshberg, Imbens & Wager, "Synthetic Difference-in-Differences", American Economic Review 111(12), 2021, arxiv.org/abs/1812.09970 · Abadie, JEL 59(2), 2021 (방법 간 비교 논의).

예측기는 부품이다 — 교체 조건 두 가지

처치 전 구간이 길고 동학이 비선형이면, BSTS 자리에 RNN·Transformer 계열, 나아가 대규모 시계열 코퍼스로 사전학습된 시계열 파운데이션 모형을 반사실 예측기로 넣을 수 있다. 이 계열의 설계에서 예측기는 교체 가능한 부품이다. 대신 두 규칙이 있다.

등각예측(conformal prediction)으로 구간 씌우기

처치 전 구간을 다시 둘로 쪼갠다. 앞부분으로 예측기를 학습하고, 뒷부분(보정 구간)에서 예측 잔차 \(|Y_t - \hat{Y}_t|\)의 경험적 분포를 만든 뒤, 그 분위수(예: 95%)를 처치 후 예측에 좌우로 씌워 구간을 만든다. 이 절차의 매력은 모형 불가지론이다. 예측기가 BSTS든 Transformer든 파운데이션 모형이든, 교환가능성 가정 아래 유한표본에서 지정한 포함확률이 보장된다. 시계열은 교환가능성이 정확히 성립하지 않으므로 블록 구조나 가중치로 보정한 변형을 쓰며, 반사실 추론에 맞게 다듬은 등각 절차가 활발한 연구 주제다(Chernozhukov 외 2021).

§2의 체크리스트로 돌아가 정리하면 이렇다. 외부 충격의 통로(①)는 대조 시계열을 입력 특징으로 넣는 설계로, 정직한 구간(②)은 등각예측으로, 재료의 감사 가능성(③)은 어텐션·특성 기여도 분석으로 각각 다시 채워야 한다. 셋을 채우고 나면 "구조를 아는 작은 모형 대 구조를 배우는 큰 모형"의 정당한 트레이드오프가 남는다. 사전 구간이 짧으면 전자가, 길고 복잡하면 후자가 유리하다.

출처 Vovk, Gammerman & Shafer, Algorithmic Learning in a Random World, Springer, 2005 (등각예측 원전) · Chernozhukov, Wüthrich & Zhu, "An Exact and Robust Conformal Inference Method for Counterfactual and Synthetic Controls", JASA 116(536), 2021, arxiv.org/abs/1712.09089 · Angelopoulos & Bates, "Conformal Prediction: A Gentle Introduction", Foundations and Trends in Machine Learning 16(4), 2023, arxiv.org/abs/2107.07511

가중치 세 개로 반사실을 조립한다

한 줄 목표: 사전 RMSPE를 최소화하는 가중치를 손으로 찾아보고, 사전 적합이 좋을 때만 사후 격차가 효과 추정으로 신뢰할 만해진다는 것을 몸으로 확인한다.

출처 실습 데이터는 이 장을 위해 설계한 교육용 결정론적 수열이다. 방법 절차는 Abadie, Diamond & Hainmueller, JASA 105(490), 2010을 따른다.

퀴즈

인용 원칙 본문 수치는 원문 기준으로 표기했다. 캘리포니아 가중치(유타 0.33 등)와 2000년 격차(약 26갑)는 Abadie 외 (2010) 기준이며, 광고 캠페인 수치는 교육용 가상 예제임을 본문에 명시했다. 1차 자료 확인이 어려운 서술은 "~로 알려져 있다", 후대의 평가·해석은 "~로 불린다/읽는다"로 구분해 적었다.