이중차분법의
논리
처치군과 대조군, 두 번 빼면 인과가 보인다. 전후비교가 왜 실패하는지에서 출발해, 2×2 DiD의 식별 논리와 회귀 구현까지. 슬라이더로 직접 확인하는 실습이 함께 들어 있다.
최저임금이 오르자 경제학자들이 전화기를 들었다
교과서의 예측을 데이터로 검증한 한 연구가, 인과추론이라는 분야 전체의 방향을 바꿨다.
패스트푸드점 410곳에 걸린 전화
1992년 4월, 뉴저지주가 최저임금을 시간당 4.25달러에서 5.05달러로 올렸다. 당시 경제학 교과서의 답은 정해져 있었다. 임금이 오르면 고용은 준다. 데이비드 카드와 앨런 크루거는 예측 대신 측정을 택했다. 인상 직전과 약 8개월 뒤, 뉴저지와 이웃 펜실베이니아 동부의 패스트푸드점 400여 곳에 전화를 걸어 고용 인원을 물었다.
결과는 교과서와 달랐다. 최저임금이 오른 뉴저지의 고용은, 오르지 않은 펜실베이니아와 비교했을 때 줄지 않았다. 이 연구가 사용한 비교의 틀이 이 장의 주제인 이중차분법(Difference-in-Differences, DiD)이다. 그리고 이 연구로 대표되는 "자연실험" 방법론은 2021년 노벨경제학상의 수상 이유가 되었다.
주목할 것은 결론이 아니라 비교의 구조다. 뉴저지의 전후 변화만 보지 않았고, 뉴저지와 펜실베이니아의 사후 차이만 보지도 않았다. 두 차이를 다시 뺐다. 왜 두 번 빼야 하는가, 두 번 빼면 무엇이 남는가. 이것이 이 장에서 답할 질문이다.
이 연구가 충격이었던 이유는 결론 이전에 방법에 있다. 1990년대 초까지 정책 효과에 대한 논쟁은 상당 부분 이론 모형과 가정의 싸움이었다. 카드와 크루거는 정책이 만들어 준 우연한 비교 상황, 즉 강 하나를 사이에 두고 한쪽만 제도가 바뀐 상황을 실험처럼 활용했다. 이런 접근을 자연실험(natural experiment)이라 부르고, 이후 30년간 응용미시경제학의 표준이 되었다. 이 흐름을 "신뢰성 혁명(credibility revolution)"이라 부른다.
결론 자체는 지금도 논쟁이 있다. 같은 사건을 급여 대장 자료로 재분석해 반대 방향의 결과를 얻은 연구(Neumark & Wascher 2000)와 그에 대한 재반박(Card & Krueger 2000)이 이어졌다. 방법을 배우는 입장에서 중요한 것은, 이 논쟁이 "무엇이 올바른 대조군인가"와 "자료의 측정 오차"를 두고 벌어졌다는 점이다. 즉 DiD를 쓰는 순간 논쟁의 언어 자체가 연구 설계의 언어로 바뀐다.
생각해 볼 질문
내 연구 분야에서 "한쪽에만 제도가 바뀐" 사건을 하나 떠올려 보자. 그 사건에서 바뀌지 않은 쪽은 바뀐 쪽의 좋은 비교 상대인가? 이 질문에 답하려면 무엇을 확인해야 하는가?
출처 Card & Krueger, "Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania", American Economic Review 84(4), 1994, davidcard.berkeley.edu/papers/njmin-aer.pdf · 노벨위원회의 2021년 수상 배경 설명, nobelprize.org (2021 popular information)
전후비교의 함정
시간이 흐르는 동안 정책만 바뀌는 것이 아니다. 전후 변화에는 정책과 무관한 변화가 함께 실려 있다.
서울만 최저임금을 올렸다면
서울시만 최저임금을 인상했다고 가정하자. 인상 전후 소상공인 고용률을 관측했더니 다음과 같았다.
| 인상 전 | 인상 후 | 변화 | |
|---|---|---|---|
| 서울 (처치군) | 70% | 68% | −2%p |
| 부산 (대조군) | 65% | 64% | −1%p |
서울만 보면 고용률이 2%p 하락했으니 "정책이 고용을 2%p 줄였다"고 결론 내리고 싶어진다. 하지만 정책과 무관한 부산도 1%p 하락했다. 전국적인 경기 둔화 같은 공통 충격이 1%p만큼 작용하고 있었던 것이다. 전후비교(before–after)는 정책이 없었어도 일어났을 이 변화를 전부 정책 탓으로 돌린다.
그렇다고 인상 후의 서울(68%)과 부산(64%)을 옆으로 비교하는 것도 답이 아니다. 두 도시는 정책 이전부터 이미 5%p 차이가 났다. 산업 구성, 인구, 상권이 다르기 때문이다. 이 수준 차이를 정책 효과로 읽으면 반대 방향의 오류를 범한다.
처치군의 변화량에서 대조군의 변화량을 빼면, 두 집단에 공통으로 작용한 시간 효과가 소거되고 처치 효과만 남는다.
(−2%p) − (−1%p) = −1%p ← 이것이 DiD 추정치다.
전후비교가 실패하는 경로는 경기 변동만이 아니다. 자주 만나는 세 가지를 구분해 두면 좋다. 첫째, 추세. 결과변수가 원래 오르거나 내리는 중이었다면 그 연장선이 효과처럼 보인다. 둘째, 회귀 평균(regression to the mean). 성과가 유난히 나빴던 시점에 정책이 도입되는 경향이 있다면, 정책이 없어도 다음 기에는 평균으로 되돌아온다. 직업훈련 연구에서 훈련 직전에 소득이 급락하는 현상은 발견자의 이름을 따 "애시펠터의 골짜기(Ashenfelter's dip)"라 불린다. 셋째, 측정과 구성의 변화. 정책과 함께 조사 방식이나 표본 구성이 바뀌면 변화량 자체가 오염된다.
대조군은 이 셋 중 처음 둘을 걷어내는 장치다. 같은 추세와 같은 충격을 겪는 집단의 변화량이 "정책이 없었을 때의 변화"를 대신 측정해 준다. 셋째 문제는 대조군으로도 해결되지 않으므로 자료 설계 단계에서 따로 점검해야 한다.
출처 Ashenfelter, "Estimating the Effect of Training Programs on Earnings", Review of Economics and Statistics 60(1), 1978 · Angrist & Pischke, Mostly Harmless Econometrics, Princeton UP, 2009, 5장.
잠재결과와 ATT
우리가 알고 싶은 것은 관측될 수 없는 값이다. DiD는 그 빈칸을 채우는 하나의 규칙이다.
관측할 수 없는 반쪽, 반사실
개체 \(i\), 시점 \(t \in \{0,1\}\)에 대해 처치를 받았을 때의 결과를 \(Y_{it}(1)\), 받지 않았을 때의 결과를 \(Y_{it}(0)\)이라 쓰자. 이 한 쌍을 잠재결과(potential outcomes)라 부른다.
우리가 알고 싶은 것은 처치집단에 대한 평균처치효과(ATT, Average Treatment effect on the Treated)다.
\[ \text{ATT} = \mathbb{E}\big[\,Y_{i1}(1) - Y_{i1}(0)\;\big|\;D_i = 1\,\big] \]식의 앞 항 \(Y_{i1}(1)\)은 관측된다. 처치군의 처치 후 결과가 바로 그것이다. 문제는 뒤 항 \(Y_{i1}(0)\), 즉 처치군이 만약 처치를 받지 않았다면 어땠을까라는 반사실(counterfactual)이다. 같은 개체가 같은 시점에 처치를 받은 세계와 받지 않은 세계를 동시에 살 수 없으므로, 이 값은 원리적으로 관측 불가능하다. 이를 인과추론의 근본 문제(fundamental problem of causal inference)라 한다.
모든 인과추론 방법은 결국 이 빈칸을 무엇으로 채우는가에 대한 서로 다른 규칙이다. 무작위 실험은 "무작위로 나뉜 대조군의 평균"으로 채우고, DiD는 다음 절의 평행추세 가정으로 채운다.
왜 ATE(전체 평균효과)가 아니라 ATT인가. DiD가 식별하는 것은 실제로 처치를 받은 집단에서의 효과다. 서울에 최저임금 인상이 미친 효과는 말할 수 있어도, "부산이 올렸다면 어땠을까"는 이 설계가 답하지 않는다. 정책 효과가 지역 특성에 따라 다르다면 둘은 다른 값이다. 논문에서 DiD 추정치를 ATE처럼 서술하면 심사에서 지적받는 단골 지점이다.
잠재결과 표기는 루빈(Rubin 1974)이 체계화했고, 홀랜드(Holland 1986)가 "근본 문제"라는 이름을 붙였다. 이 틀의 힘은 가정을 명시적으로 만드는 것이다. "효과가 있다"는 말은 이 표기로 쓰는 순간 "관측 불가능한 \(Y(0)\)에 대해 무엇을 가정했는가"라는 질문으로 바뀐다. 이후 모든 장에서 방법이 바뀔 때마다 바뀌는 것은 이 가정이지, 인과라는 개념 자체가 아니다.
생각해 볼 질문
"우리 학교 졸업생의 취업률이 높다. 따라서 우리 학교 교육의 효과다." 이 주장을 잠재결과 표기로 다시 써 보자. 어떤 반사실에 대한 가정이 숨어 있는가?
출처 Rubin, "Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies", Journal of Educational Psychology 66(5), 1974 · Holland, "Statistics and Causal Inference", JASA 81(396), 1986.
두 번 빼면 무엇이 남는가
평행추세 가정이 반사실을 만들어 주고, 관측 가능한 네 개의 평균만으로 ATT가 식별된다.
평행추세: 반사실을 만들어 주는 단 하나의 가정
DiD는 관측 불가능한 반사실을 다음 가정으로 채운다.
\[ \underbrace{\mathbb{E}[Y_{i1}(0) - Y_{i0}(0) \mid D_i=1]}_{\color{#A6432E}{\text{처치군의 무처치 변화량}}} \;=\; \underbrace{\mathbb{E}[Y_{i1}(0) - Y_{i0}(0) \mid D_i=0]}_{\color{#146E7A}{\text{대조군의 변화량}}} \]말로 풀면, 처치가 없었다면 처치군도 대조군과 같은 기울기로 움직였을 것이라는 뜻이다. 수준이 같아야 한다는 가정이 아니다. 서울이 70%, 부산이 65%에서 출발해도 상관없다. 요구되는 것은 변화의 평행뿐이다.
좌변은 반사실이므로 관측할 수 없고, 우변은 관측된다. 이 등식이 성립한다고 믿는 순간, 대조군의 변화량이 처치군의 "정책 없는 변화량"을 대신 측정해 주고, ATT는 관측 가능한 네 개의 평균만으로 계산된다.
\[ \widehat{\text{ATT}} = \big(\bar{Y}^{\,T}_{\text{후}} - \bar{Y}^{\,T}_{\text{전}}\big) - \big(\bar{Y}^{\,C}_{\text{후}} - \bar{Y}^{\,C}_{\text{전}}\big) \]평행추세 가정에는 잘 알려지지 않은 미묘한 점이 하나 있다. 이 가정은 결과변수의 척도에 의존한다. 고용률의 수준이 평행하게 움직인다는 가정과 로그 고용률이 평행하게 움직인다는 가정은 서로 다른 가정이고, 일반적으로 둘 다 참일 수는 없다. 수준에서 평행하면 비율에서는 평행하지 않기 때문이다. 어떤 척도를 쓸 것인지는 "공통 충격이 두 집단에 절대량으로 실리는가, 비율로 실리는가"라는 실질적 판단의 문제이며, 논문에서는 척도 선택의 근거를 밝히는 것이 좋다. 이 문제를 정면으로 다룬 것이 Roth & Sant'Anna (2023)다.
또 하나. 위 식별에는 평행추세 외에 무예견(no anticipation) 가정이 암묵적으로 함께 들어 있다. 정책 발표를 미리 안 처치군이 시행 전에 행동을 바꾸면, "전" 시점의 관측치가 이미 오염되어 변화량 계산의 기준선이 무너진다. 가정들의 전체 목록과 검증 전략은 2장에서 본격적으로 다룬다.
출처 Roth & Sant'Anna, "When Is Parallel Trends Sensitive to Functional Form?", Econometrica 91(2), 2023, arxiv.org/abs/2010.04814 · Lechner, "The Estimation of Causal Effects by Difference-in-Difference Methods", Foundations and Trends in Econometrics 4(3), 2011.
"이중"차분: 각 차분이 지우는 것
네 칸의 평균을 놓고 두 방향으로 빼 보면, 각 차분이 무엇을 소거하는지 정확히 보인다.
| 전 (t=0) | 후 (t=1) | 차분 ① (시간) | |
|---|---|---|---|
| 처치군 | \(\bar{Y}^{T}_{0}\) | \(\bar{Y}^{T}_{1}\) | \(\Delta^{T}\) = 효과 + 공통충격 |
| 대조군 | \(\bar{Y}^{C}_{0}\) | \(\bar{Y}^{C}_{1}\) | \(\Delta^{C}\) = 공통충격 |
| 차분 ② (집단) | \(\Delta^{T}-\Delta^{C}\) = 효과 | ||
- 첫 번째 차분(시간 방향)은 각 집단 안에서 전을 빼므로, 집단 고유의 수준 차이(서울 70 vs 부산 65)를 소거한다. 시간에 대해 변하지 않는 개체 특성은 여기서 전부 사라진다.
- 두 번째 차분(집단 방향)은 두 변화량을 빼므로, 두 집단에 공통으로 실린 시간 충격(경기, 계절, 전국 정책)을 소거한다.
- 남는 것은 처치군에만, 처치 후에만 실린 것, 즉 처치 효과다. 단, "처치군에만 실린 고유 추세"가 있다면 그것도 함께 남는다. 이것이 평행추세 위반의 정체이며, 다음 실습에서 직접 확인한다.
"대조군은 처치군과 수준이 비슷해야 한다." — 아니다. 수준 차이는 첫 번째 차분에서 완전히 소거되므로 DiD에 아무 해를 끼치지 않는다. 필요한 것은 수준의 유사성이 아니라 추세의 평행이다. 거꾸로, 수준이 비슷해도 추세가 다르면 DiD는 실패한다. 대조군을 고를 때 "비슷해 보이는 집단"이 아니라 "같은 충격을 받는 집단"을 찾아야 하는 이유다.
출처 Angrist & Pischke, Mostly Harmless Econometrics, 2009, 5장 · Cunningham, Causal Inference: The Mixtape, Yale UP, 2021, DiD 장, mixtape.scunning.com
DiD 실험실
공통 충격은 아무리 키워도 추정치가 흔들리지 않는다. 흔들리게 만드는 것은 단 하나, 평행추세 위반이다.
무엇이 추정치를 움직이고, 무엇이 못 움직이는가
한 줄 목표: 공통 충격이 DiD 추정치에서 완전히 소거되는 것, 그리고 처치군 고유 추세는 소거되지 않고 전액 편향이 되는 것을 눈으로 확인한다.
고용률 실험실
점선은 "처치가 없었다면"의 반사실 경로다. 처치 효과는 사후 시점의 붉은 실선과 점선 사이 간격으로 나타난다.
조작 안내 — ① 두 번째 슬라이더(공통 충격)를 양끝까지 움직여 보라. ② 첫 번째 슬라이더로 효과를 바꿔 추정치가 따라오는지 보라. ③ 세 번째 슬라이더를 0에서 벗어나게 하라.
관찰 포인트 — 공통 충격을 아무리 흔들어도 DiD 추정치가 한 자리도 변하지 않으면 첫 관찰 성공. 세 번째 슬라이더를 움직였을 때 추정치가 "진짜 효과 + 위반량"으로 정확히 어긋나는 것을 확인하면 두 번째 관찰 성공. 편향의 크기가 위반량과 정확히 같다는 것, 즉 DiD는 위반을 완충하지 못하고 전액 흡수한다는 것이 이 실습의 결론이다.
이 실습이 보여주는 것은 DiD의 힘과 한계가 같은 곳에서 나온다는 사실이다. 공통 충격에 대한 완전한 면역은 "두 집단이 같은 충격을 받는다"는 가정을 산 대가다. 처치군만의 고유 추세는 정의상 그 가정 밖에 있으므로, DiD는 그것을 처치 효과와 구분할 수단이 없다. 방법이 실패하는 방식이 이렇게 단순하고 투명하다는 것이 오히려 DiD의 장점이다. 무엇을 의심해야 하는지가 명확하기 때문이다. 2장 전체가 이 의심을 다루는 기술이다.
손으로 한 번, 두 문제
처치군 전 80, 후 74. 대조군 전 60, 후 58. DiD 추정치는?
어느 도시가 지하철 노선을 개통한 뒤 상권 매출이 15% 늘었다. "지하철 효과가 15%"라는 주장의 문제점을 DiD 관점에서 지적하라.
회귀식으로 구현하기
네 칸 평균과 정확히 같은 값이 상호작용항의 계수로 나온다. 회귀로 옮기는 이유는 표준오차와 확장성이다.
상호작용항의 계수가 곧 DiD
실제 분석에서는 표를 손으로 계산하는 대신 회귀식을 쓴다.
\[ Y_{it} = \alpha + \beta\,\color{#A6432E}{\text{Treat}_i} + \gamma\,\text{Post}_t + \delta\,(\color{#A6432E}{\text{Treat}_i}\times\text{Post}_t) + \varepsilon_{it} \]| 계수 | 의미 | 서울·부산 예제의 값 |
|---|---|---|
| \(\alpha\) | 대조군의 처치 전 평균 | 65 |
| \(\beta\) | 처치 전 두 집단의 수준 차이 | 70 − 65 = 5 |
| \(\gamma\) | 대조군의 시간 변화 (공통 충격) | 64 − 65 = −1 |
| \(\delta\) | DiD 추정치 (ATT) | −1 |
2×2 상황에서 \(\hat\delta\)는 네 칸 평균으로 계산한 값과 수치까지 정확히 일치한다. 그런데도 회귀로 옮기는 이유는 세 가지다. 표준오차가 함께 나오고, 공변량을 통제할 수 있고, 여러 시점·여러 집단으로의 확장이 같은 문법 안에서 이뤄지기 때문이다.
계수를 읽는 연습을 한 번 해 두면 좋다. \(\beta\)가 크다는 것은 두 집단의 수준이 많이 다르다는 뜻인데, 위에서 본 대로 이것 자체는 문제가 아니다. 오히려 \(\beta\)를 보고 "집단이 달라서 비교가 안 된다"고 판단하는 것이 흔한 오독이다. 문제가 되는 것은 \(\gamma\)의 해석이 두 집단에 공통이라는 가정, 즉 평행추세다. 회귀식은 이 가정을 자동으로 검증해 주지 않는다. 식이 돌아간다는 것과 식별이 성립한다는 것은 완전히 별개다.
공변량 \(X_{it}\)를 우변에 추가할 때는 주의가 필요하다. 처치의 영향을 받는 변수(예: 정책 이후의 임금 수준)를 넣으면 효과의 일부를 통제해 버리는 "나쁜 통제(bad control)"가 된다. 원칙은 처치 이전에 결정된 변수만 넣는 것이다.
출처 Angrist & Pischke, Mostly Harmless Econometrics, 2009, 3.2절(bad control)과 5장.
표준오차: 반드시 클러스터링
같은 지역의 관측치들은 시간에 걸쳐 상관되어 있다. 이 계열상관을 무시하면 표준오차가 심하게 과소추정된다.
버트런드, 뒤플로, 뮬라이나탄(2004)은 이 문제를 정면으로 보여줬다. 실제로는 아무 정책도 없는 자료에 가짜 정책 시점을 무작위로 심고 DiD를 돌렸더니, 명목 유의수준 5%에서 훨씬 잦은 빈도로 "유의한 효과"가 검출되었다. 관측치를 독립으로 취급한 표준오차가 실제 불확실성을 크게 밑돌았기 때문이다. 이후 처치가 배정되는 수준(예: 지역)에서 클러스터 표준오차를 쓰는 것이 표준 관행이 되었다.
- 클러스터는 "처치가 배정된 단위"로 잡는다. 개인 자료라도 정책이 지역 단위면 지역으로 클러스터링한다.
- 클러스터 수가 적으면(관례적으로 약 40개 미만) 클러스터 표준오차 자체가 과소추정된다. 이때는 와일드 클러스터 부트스트랩(wild cluster bootstrap)을 쓴다.
- 처치군 클러스터가 한두 개뿐인 극단적 상황(주 1개가 정책 시행)은 별도의 추론 방법이 필요한 연구 주제다. 4장의 합성통제 순열검정이 하나의 답이다.
Python으로 처음부터 끝까지
참효과를 −1로 심은 모의자료에서, 네 칸 평균과 회귀가 같은 답을 내는지 확인한다. 마지막 줄의 클러스터 옵션까지가 한 세트다.
관찰 포인트 — 두 방법의 값이 소수점까지 일치하는가. 이어서 노이즈 표준편차(0, 2)를 (0, 8)로 키워 다시 돌려 보라. 추정치는 −1 근처에서 더 크게 흔들리지만 두 방법의 일치는 유지된다. 열린 과제: rng.normal 대신 지역별 공통 충격을 심어(같은 지역 관측치에 같은 난수를 더해) HC1 표준오차와 클러스터 표준오차가 얼마나 벌어지는지 확인해 보라.
출처 Bertrand, Duflo & Mullainathan, "How Much Should We Trust Differences-in-Differences Estimates?", Quarterly Journal of Economics 119(1), 2004, academic.oup.com/qje · Cameron & Miller, "A Practitioner's Guide to Cluster-Robust Inference", Journal of Human Resources 50(2), 2015.
계보와 오해
DiD는 최신 기법이 아니다. 170년 전 콜레라 지도에서 출발해, 지금은 응용경제학에서 가장 많이 쓰이는 설계가 되었다.
존 스노우의 수도회사 비교
DiD의 원형으로 자주 인용되는 것은 1855년 존 스노우(John Snow)의 콜레라 연구다. 당시 런던 남부에는 두 수도회사가 같은 구역에 물을 공급했는데, 램버스(Lambeth) 사는 1852년 취수원을 템스강 상류의 오염되지 않은 곳으로 옮겼고, 서더크&복스홀(Southwark & Vauxhall) 사는 하수가 섞이는 하류 취수를 유지했다.
스노우는 취수원을 옮긴 회사의 공급 가구와 옮기지 않은 회사의 공급 가구에서 콜레라 사망률이 어떻게 달라졌는지를 비교했다. 같은 동네, 같은 공기, 같은 생활환경에서 물 공급만 달랐으므로, 사망률 변화의 차이는 물로 귀속시킬 수 있었다. "나쁜 공기(miasma)"가 콜레라를 옮긴다던 당대 통설에 맞선, 데이터에 의한 인과 논증이었다.
현대 경제학에서의 출발점은 앞서 본 Card & Krueger (1994)다. 그리고 오늘날 DiD는 응용미시 분야 실증 논문에서 가장 많이 쓰이는 설계로 꼽힌다. 2018년 이후 이 방법론 자체가 대규모로 재정비되었는데(다기간·시차 도입 문제), 그 내용이 3장의 주제다.
스노우의 연구가 "DiD의 원형"이라는 서술에는 정황 표시가 필요하다. 스노우 본인이 이중차분이라는 통계량을 계산한 것은 아니고, 비교의 논리 구조가 DiD와 같았다는 후대의 재해석이다. 그의 표가 실제로 담은 것은 회사별 사망률 비교와 1849년 대비 1854년의 변화였다. 방법론사의 인용은 이렇게 "누가 무엇을 실제로 했는가"와 "후대가 무엇의 원형으로 읽는가"를 구분해 쓰는 습관이 필요하다.
또 하나의 관찰. 스노우의 설계가 설득력을 가진 이유는 통계가 아니라 배정의 우연성이었다. 두 회사의 배관은 수십 년 전 깔린 것이라, 어느 집이 어느 회사 물을 받는지는 1850년대의 위생 습관과 무관했다. "처치가 결과와 무관한 이유로 배정되었다"는 논증이 설계의 심장이라는 점은 170년이 지난 지금도 똑같다.
출처 Snow, On the Mode of Communication of Cholera (2nd ed.), John Churchill, 1855, 원문: archive.org/details/b28985266 · Caniglia & Murray, "Difference-in-Difference in the Time of Cholera", Current Epidemiology Reports 7, 2020, pmc.ncbi.nlm.nih.gov
이 장에서 정면으로 다루는 오해 셋
"전후에 결과가 좋아졌으니 정책이 효과 있었다." — 전후비교는 공통 충격·추세·회귀 평균을 전부 효과로 계산한다. 비교의 최소 단위는 "변화량의 차이"다.
"대조군은 처치군과 비슷한 집단이어야 한다." — 필요한 것은 수준의 유사성이 아니라 추세의 평행이다. 수준 차이는 차분이 지운다. 겉보기에 비슷해도 다른 충격을 받는 집단이 최악의 대조군이다.
"회귀에서 유의하게 나왔으니 인과다." — 회귀는 식별 가정을 검증하지 않는다. 유의성은 표본 불확실성에 대한 진술이고, 인과는 평행추세라는 관측 불가능한 가정에 대한 진술이다. 그리고 그 유의성조차 클러스터링 없이는 부풀려져 있기 쉽다.
퀴즈와 핵심 정리
먼저 스스로 답한 뒤 펼쳐서 확인하라.
퀴즈
DiD 추정에서 "처치 전 두 집단의 수준 차이가 크다"는 사실은 왜 문제가 되지 않는가? 그리고 무엇이 문제가 되는가?
회귀식 \(Y = \alpha + \beta\,\text{Treat} + \gamma\,\text{Post} + \delta\,(\text{Treat}\times\text{Post}) + \varepsilon\)에서 \(\gamma\)의 해석은? \(\gamma\)가 크게 나왔다면 DiD 설계에 문제가 있다는 뜻인가?
지역 단위로 배정된 정책을 개인 패널 자료로 분석하면서 표준오차를 개인 수준에서 계산했다. 무엇이 잘못되었고 결과는 어느 방향으로 왜곡되는가?
하나. 전후비교의 오류는 게으름이 아니라 구조다. 시간 효과와 처치 효과는 한 집단 안에서는 원리적으로 분리되지 않는다. 분리에는 반드시 두 번째 집단이 필요하다.
둘. DiD가 요구하는 것은 닮은 대조군이 아니라 같은 충격을 받는 대조군이다. 수준 차이는 무해하고, 추세 차이는 치명적이다.
셋. 추정치와 함께 그 불확실성도 설계의 산물이다. 클러스터링 없는 DiD의 유의성은 신뢰할 수 없다.
참고문헌
연도는 출간 기준. 수치는 본문에 인용한 원문 기준이다.
기초 문헌
- Card, D., & Krueger, A. (1994). Minimum Wages and Employment: A Case Study of the Fast-Food Industry in New Jersey and Pennsylvania. American Economic Review, 84(4), 772–793. davidcard.berkeley.edu/papers/njmin-aer.pdf
- Rubin, D. (1974). Estimating Causal Effects of Treatments in Randomized and Nonrandomized Studies. Journal of Educational Psychology, 66(5), 688–701.
- Holland, P. (1986). Statistics and Causal Inference. JASA, 81(396), 945–960.
- Angrist, J., & Pischke, J.-S. (2009). Mostly Harmless Econometrics. Princeton University Press. Ch. 5.
- Snow, J. (1855). On the Mode of Communication of Cholera (2nd ed.). John Churchill. archive.org/details/b28985266
추론과 확장
- Bertrand, M., Duflo, E., & Mullainathan, S. (2004). How Much Should We Trust Differences-in-Differences Estimates? Quarterly Journal of Economics, 119(1), 249–275.
- Cameron, A. C., & Miller, D. (2015). A Practitioner's Guide to Cluster-Robust Inference. Journal of Human Resources, 50(2), 317–372.
- Roth, J., & Sant'Anna, P. H. C. (2023). When Is Parallel Trends Sensitive to Functional Form? Econometrica, 91(2), 737–747. arxiv.org/abs/2010.04814
- Roth, J., Sant'Anna, P. H. C., Bilinski, A., & Poe, J. (2023). What's Trending in Difference-in-Differences? A Synthesis of the Recent Econometrics Literature. Journal of Econometrics, 235(2). arxiv.org/abs/2201.01194 — 시리즈 전체의 필독 서베이.
- Cunningham, S. (2021). Causal Inference: The Mixtape. Yale University Press. mixtape.scunning.com (무료 공개)
인용 원칙 본문 수치는 원문 기준으로 표기했다. 1차 자료 확인이 어려운 서술은 "~로 알려져 있다", 후대의 해석은 "~로 읽는다/지목된다"로 구분해 적었다.
이 자료는 단일 HTML 파일로 배포되며, 수식은 MathJax, 실습은 순수 JavaScript로 구현되어 오프라인에서도 동작한다(수식 렌더링만 최초 1회 네트워크 필요). 색상 규약: 붉은색 = 처치군, 청록색 = 대조군, 회색 점선 = 반사실.