평행추세는
검증할 수 있는가
평행추세는 반사실에 대한 진술이라 원리적으로 증명할 수 없다. 그렇다면 무엇을 할 수 있는가. 위반이 생기는 구조를 이해하고, event study와 위약검정으로 정황 증거를 쌓고, 민감도 분석으로 "얼마나 깨져도 결론이 버티는가"를 보고한다. 사전 계수의 정렬을 눈으로 확인하는 시뮬레이터가 함께 들어 있다.
훈련 직전, 소득이 먼저 급락했다
전후비교는 회귀 평균까지 효과로 계산한다. 사전 추세 그림 한 장이 학술지 심사의 관문이 된 이유가 이 발견에 있다.
애시펠터의 골짜기
1978년, 올리 애시펠터(Orley Ashenfelter)는 미국 연방 직업훈련 프로그램(MDTA)의 효과를 사회보장 소득 기록으로 추적하다가 이상한 패턴을 발견했다. 1964년에 훈련을 받은 사람들의 소득이 훈련 직전 해에 급락해 있었던 것이다. 훈련이 소득을 떨어뜨렸을 리는 없다. 인과의 방향이 반대였다. 실직하거나 소득이 무너진 사람이 훈련을 신청한 것이다.
이 급락이 전후비교를 망가뜨린다. 소득이 유난히 낮았던 시점은 정책이 없어도 다음 해에 평균으로 되돌아온다(회귀 평균). 훈련 전 소득과 훈련 후 소득을 비교하면 이 자연 반등이 전부 훈련 효과로 계산되어, 프로그램의 성과가 체계적으로 부풀려진다. 훈련 직전의 소득 골짜기는 발견자의 이름을 따 애시펠터의 골짜기(Ashenfelter's dip)라 불리게 되었다.
이 발견이 남긴 교훈은 직업훈련을 넘어선다. 처치는 결과변수가 특정하게 움직인 다음에 배정되는 경향이 있고, 그때 처치군의 "정책 없는 경로"는 대조군과 다르게 꺾인다. 즉 평행추세 위반은 우연한 사고가 아니라 처치가 배정되는 방식 자체가 만들어내는 구조적 현상이다. 오늘날 학술지 심사에서 DiD 논문이 사전 추세 그림(event study plot) 한 장 없이는 첫 관문을 통과하지 못하는 이유가 여기에 있다.
애시펠터의 1978년 논문은 방법론사에서 이중의 의미를 갖는다. 첫째, 행정자료(사회보장 기록)를 정책 평가에 본격적으로 쓴 초기 사례다. 설문이 아니라 소득의 여러 해에 걸친 경로를 볼 수 있었기에 골짜기가 눈에 들어왔다. 사전 시점이 하나뿐인 자료였다면 이 패턴은 발견될 수 없었다. 사전 시점을 여러 개 확보하라는 이 장의 반복되는 조언은 여기서 출발한다.
둘째, 이 발견은 이후 수십 년의 논쟁을 예고했다. 라론드(LaLonde 1986)는 실험 자료를 벤치마크로 삼아, 비실험적 방법들이 직업훈련 효과를 제대로 복원하지 못함을 보였는데, 그 실패의 상당 부분이 바로 이 골짜기 같은 사전 동학을 다루지 못한 데서 왔다. 처치 직전의 결과변수 동학을 어떻게 다루는가가 관측자료 인과추론의 성패를 가른다는 인식은, 이 장에서 배울 모든 도구의 공통 배경이다.
생각해 볼 질문
"성과가 나빠진 뒤에 개입이 들어오는" 구조는 어디에나 있다. 부진 점포 지원, 위기 학생 상담, 실적 악화 기업의 구조조정. 내 연구 주제에서 처치 직전에 결과변수가 특정 방향으로 움직였을 이유가 있는가?
출처 Ashenfelter, "Estimating the Effect of Training Programs on Earnings", Review of Economics and Statistics 60(1), 1978 · Ashenfelter & Card, "Using the Longitudinal Structure of Earnings to Estimate the Effect of Training Programs", Review of Economics and Statistics 67(4), 1985 · LaLonde, "Evaluating the Econometric Evaluations of Training Programs with Experimental Data", American Economic Review 76(4), 1986.
평행추세 위반은 어디서 오는가
위반은 우연이 아니라 구조에서 온다. 정책은 성과가 나쁜 곳을 겨냥하고, 처치군은 처치군이라서 다른 충격을 받는다.
표적화, 고유 충격, 구성 변화
평행추세가 깨지는 경로는 대부분 다음 셋 중 하나로 환원된다. 각각은 위협의 방향과 대응 전략이 다르므로 구분해서 진단해야 한다.
| 원천 | 메커니즘 | 사례 |
|---|---|---|
| ① 표적화 (선택) | 결과변수가 나쁘게 움직인 곳에 정책이 배정된다. 처치 직전의 급락은 회귀 평균으로 반등하고, 그 반등이 효과로 계산된다. | 소득이 급락한 사람이 직업훈련을 신청(애시펠터의 골짜기). 고용이 무너진 지역이 "고용위기지역"으로 지정되어 지원을 받는 경우. |
| ② 처치군만의 충격 | 처치와 무관하지만 처치군에만 실리는 충격이 같은 기간에 발생한다. DiD는 이를 처치 효과와 구분할 수 없다. | 제조업 도시에 최저임금 인상과 조선업 불황이 겹치는 경우. 처치 지역에만 동시 시행된 다른 정책. |
| ③ 구성 변화 | 비교되는 집단의 구성원 자체가 시점 간에 달라진다. 관측된 변화가 "같은 대상의 변화"가 아니게 된다. | 반복 횡단면 조사에서 정책 후 폐업 점포가 표본에서 이탈. 정책이 인구 유입·유출을 유발하는 경우. |
①과 ②는 "처치군의 정책 없는 변화량 ≠ 대조군의 변화량"이라는 의미의 평행추세 위반이고, ③은 변화량이라는 개념 자체를 오염시키는 더 근본적인 문제다. ③은 대조군을 아무리 잘 골라도 해결되지 않으며, §5에서 별도의 가정으로 다시 다룬다.
①의 표적화는 방향이 양쪽 모두일 수 있다는 점에 주의해야 한다. 성과가 나쁠 때 개입하는 "구제형" 정책은 효과를 부풀리는 쪽으로 편향되고(반등이 효과로 계산됨), 성과가 좋은 곳에 배정되는 "포상형" 정책(잘 되는 지역에 인프라 투자)은 성장 추세의 연장이 효과로 계산되어 역시 부풀린다. 반대로, 쇠퇴 추세가 계속되는 지역에 정책이 들어가면 효과가 축소되거나 음수로 보일 수도 있다. 편향의 방향은 자동으로 정해지지 않는다. 배정 메커니즘을 알아야 방향을 논증할 수 있다.
②를 진단하는 실무적 질문은 "그 기간에 처치군에게 또 무슨 일이 있었는가"다. 정책은 홀로 오지 않는다. 같은 정부가 같은 지역에 여러 정책을 묶어 시행하는 일은 흔하고, 이 경우 DiD가 식별하는 것은 특정 정책이 아니라 정책 꾸러미 전체의 효과다. 제도 변화의 연표를 만들어 처치 시점 전후의 다른 사건을 나열하는 것이 논문 심사에서 실제로 요구되는 작업이다.
출처 Ashenfelter, Review of Economics and Statistics 60(1), 1978 · Roth, Sant'Anna, Bilinski & Poe, "What's Trending in Difference-in-Differences?", Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194
증명할 수 없는 가정
1장의 식별 가정을 다시 보자. 평행추세는 처치군의 무처치 잠재결과 \(Y_{i1}(0)\)의 변화에 대한 진술이다. 처치군에서 이 값은 처치가 일어난 순간부터 영원히 관측되지 않는다.
\[ \underbrace{\mathbb{E}[Y_{i1}(0) - Y_{i0}(0) \mid D_i=1]}_{\text{관측 불가능}} \;=\; \underbrace{\mathbb{E}[Y_{i1}(0) - Y_{i0}(0) \mid D_i=0]}_{\text{관측 가능}} \]좌변이 관측 불가능하므로, 어떤 데이터도 이 등식을 참으로 확정할 수 없다. 사전 기간의 추세가 아무리 평행해도 마찬가지다. 사전 기간의 평행은 "과거에 두 집단이 나란히 움직였다"는 사실이고, 가정은 "처치 후 기간에, 처치가 없었다면 나란히 움직였을 것"이라는 반사실이다. 전자는 후자의 정황 증거일 뿐, 논리적으로 함의하지 않는다.
"사전 추세가 평행했으니 평행추세 가정이 검증(증명)되었다." — 틀렸다. 칸랑과 랑(Kahn-Lang & Lang 2020)이 정면으로 지적한 오해다. 사전 평행은 (1) 반사실이 아닌 과거에 대한 진술이고, (2) 하필 처치 시점부터 추세가 갈라지게 만드는 사건 — 예컨대 정책을 부른 바로 그 충격 — 을 배제하지 못하며, (3) 검정력이 낮으면 "평행해 보이는 것"이 "평행한 것"을 의미하지도 않는다. 사전 추세 확인은 필요한 정황 증거지 충분한 증명이 아니다.
칸랑과 랑은 여기에 한 가지를 더 요구한다. 왜 두 집단의 수준이 다른지 설명하라는 것이다. 수준 차이 자체는 차분이 지우지만, 수준이 달라진 이유(예: 산업 구성)가 시간에 따라 다른 추세를 만들어낼 수 있다면, 그 이유는 추세 차이의 잠재적 원인이기도 하다. 수준 차이의 기원을 설명할 수 있어야 추세 평행의 주장도 설득력을 갖는다.
이 오해가 퍼진 경위는 이해할 만하다. 실무 언어에서 "평행추세 검정(parallel trends test)"이라는 이름의 절차 — 사전 계수들의 결합 유의성 검정 — 가 널리 쓰이면서, 검정을 통과하면 가정이 성립한다는 인상이 생겼다. 그러나 그 검정의 귀무가설은 "사전 기간에 추세 차이가 없다"이고, 기각에 실패했다는 것은 "차이의 증거를 찾지 못했다"이지 "차이가 없다"가 아니다. 게다가 검정 대상 자체가 가정(사후 반사실)이 아니라 그 정황(사전 관측)이다. 이중의 간극이 있는 셈이다.
그렇다면 사전 평행 확인은 무의미한가. 아니다. 위반의 세 원천 중 ①(표적화)과 지속적인 추세 차이는 대개 사전 기간에 흔적을 남기므로, 사전 추세는 가장 값싸고 강력한 반증 시도다. 통과하지 못하면 설계는 그 자리에서 기각된다. 통과하면 설계가 살아남을 뿐 증명되는 것은 아니다 — 이 비대칭이 핵심이다. 포퍼적 의미의 반증주의와 정확히 같은 구조다.
출처 Kahn-Lang & Lang, "The Promise and Pitfalls of Differences-in-Differences: Reflections on 16 and Pregnant and Other Applications", Journal of Business & Economic Statistics 38(3), 2020 · Roth 외, Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194
Event Study: 시간을 펼쳐서 본다
event study는 가정을 증명하지 못한다. 그러나 위반의 시그니처를 드러내고 효과의 동적 경로를 보여주는, 현재로서 가장 좋은 렌즈다.
상대시점별 계수 \(\delta_k\)
2×2 DiD가 전/후 두 시점을 뭉뚱그렸다면, event study는 처치 시점 \(T^*_i\)를 0으로 놓고 상대시점 \(k = t - T^*_i\)마다 계수를 하나씩 추정한다.
\[ Y_{it} = \alpha_i + \lambda_t + \sum_{k \neq -1} \delta_k \,\mathbb{1}[t - T^*_i = k] + \varepsilon_{it} \]\(\alpha_i\)는 개체 고정효과(수준 차이 소거), \(\lambda_t\)는 시점 고정효과(공통 충격 소거)다. 남는 \(\delta_k\)는 "상대시점 \(k\)에서 처치군과 대조군의 격차"를 기준 시점 \(k=-1\)의 격차 대비로 잰 값이다.
왜 \(k=-1\)을 빼는가
모든 \(k\)의 지시변수를 다 넣으면 고정효과들과 완전공선성이 생겨 추정이 불가능하다. 하나를 기준으로 떨어뜨려야 하며, 관례적으로 처치 직전 시점 \(k=-1\)을 뺀다. 그 결과 모든 계수는 자동으로 \(\delta_{-1}=0\)에 정규화되고, "처치 직전과 비교해 격차가 얼마나 달라졌는가"로 읽힌다. 무예견 가정이 성립한다면 \(k=-1\)은 처치의 영향이 없는 마지막 시점이므로 자연스러운 기준점이다.
그림 읽는 법
- 사전 계수 \(k<0\) — 처치가 아직 없었으므로 참값은 0이어야 한다. 0 주변에 무작위로 흩어져 있으면 정황 증거 확보. 0에서 벗어나며 한 방향으로 정렬되어 있으면(우상향 또는 우하향 직선) 추세 차이의 시그니처다.
- 사후 계수 \(k \ge 0\) — 효과의 동적 경로다. 즉시 나타나는가, 서서히 누적되는가, 시간이 지나며 소멸하는가. 2×2 DiD의 단일 추정치가 뭉개버리는 정보가 여기서 복원된다.
- 신뢰구간 — 사전 계수가 0과 "다르지 않다"는 판단은 신뢰구간의 폭에 의존한다. 구간이 넓으면 큰 위반도 탐지되지 않는다. 점만 보지 말고 구간의 폭을 함께 읽어야 한다.
실무 세부사항 두 가지. 첫째, 관측 창의 양 끝 처리다. 패널의 길이는 유한하므로 \(k=-5\)보다 먼 과거, \(k=+4\)보다 먼 미래는 하나의 구간으로 묶거나(binning) 표본에서 제외해야 한다. 처리 방식에 따라 끝쪽 계수의 해석이 달라지므로 논문에 명시해야 한다. 둘째, 이 식을 시차 도입(staggered adoption) 자료에 그대로 쓰면 처치효과의 이질성 때문에 계수가 오염될 수 있다. 그 문제와 해법(Sun & Abraham 등)은 3장의 주제다. 이 장에서는 처치 시점이 하나인 경우를 전제한다.
프레이알덴호벤, 핸슨, 샤피로(Freyaldenhoven, Hansen & Shapiro 2019)는 한 걸음 더 나아간다. 사전 추세가 관측되는 상황에서, 정책과 무관하게 결과변수에 앞서 움직이는 공변량(confound proxy)을 이용해 추세 교란을 명시적으로 걷어내는 추정법을 제안했다. 사전 추세가 보인다고 설계를 곧바로 버리는 대신, 교란의 구조를 모형화해 살려내는 시도다. 이들이 만든 시각화 규약(사전·사후 계수, 신뢰구간, 추세 적합선을 한 그림에)은 event study plot의 사실상 표준이 되었다.
출처 Freyaldenhoven, Hansen & Shapiro, "Pre-event Trends in the Panel Event-Study Design", American Economic Review 109(9), 2019 · Roth 외, Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194
Roth의 경고: 통과가 안심의 근거가 아니다
사전 계수가 유의하지 않으면 안심하고, 유의하면 설계를 버린다 — 이 표준 관행에 로스(Roth 2022)는 두 가지 층위의 문제를 제기했다.
- 검정력이 낮다. 로스가 학술지 게재 논문들의 event study를 다시 분석한 결과, 통상적인 사전검정은 추정 결과를 뒤집을 만한 크기의 위반조차 절반도 탐지하지 못하는 경우가 흔했다. 사전검정 통과는 "위반이 없다"가 아니라 "이 표본의 노이즈 수준에서는 위반이 보이지 않는다"일 뿐이다. 노이즈가 클수록 통과는 쉬워진다 — 나쁜 데이터가 좋은 성적표를 받는 역설이다.
- 통과 조건부 추정은 왜곡된다(pre-test bias). 실제로 위반이 있는데 우연히 사전 계수가 작게 나온 표본만 골라 분석을 진행한다면, 그 선별 자체가 추정치의 분포를 바꾼다. 위반이 노이즈와 상쇄된 표본이 선택되므로, 통과한 표본에서의 편향은 평균적인 편향과 다르며 더 나빠질 수도 있다. "검정을 통과했으니 통과 후 추정치는 깨끗하다"는 직관은 성립하지 않는다.
결론은 사전검정을 하지 말라는 것이 아니다. 사전검정을 이분법적 관문으로 쓰지 말라는 것이다. 사전 계수의 크기와 신뢰구간을 그대로 보여주고, "이 정도 위반 가능성 아래에서 결론이 얼마나 버티는가"를 §4의 민감도 분석으로 정량화하는 것이 현재의 권고다.
pre-test bias는 event study만의 문제가 아니라, "검정을 통과한 경우에만 다음 단계로 진행"하는 모든 2단계 절차의 일반적 성질이다. 변수선택 후 추론(post-selection inference)과 같은 뿌리를 갖는다. 검정과 추정이 같은 데이터를 쓰는 한, 검정 결과로 표본을 조건화하는 순간 추정량의 표본분포는 교과서의 분포가 아니게 된다.
실무적 함의는 명확하다. 첫째, 사전검정의 검정력 계산을 함께 보고하라. "우리 설계는 X 크기의 위반을 80% 확률로 탐지한다"는 문장이 "사전검정을 통과했다"보다 훨씬 많은 정보를 준다. 둘째, 사전 시점이 많을수록, 표본이 클수록, 결과변수의 노이즈가 작을수록 사전검정은 의미를 갖는다. 사전 시점이 두 개뿐인 설계에서 사전검정 통과를 내세우는 것은 거의 무의미하다.
생각해 볼 질문
"사전 계수가 전부 유의하지 않음"과 "사전 계수의 신뢰구간이 전부 ±0.1 안에 있음"은 어떻게 다른 진술인가? 어느 쪽이 평행추세의 정황 증거로서 더 강한가?
출처 Roth, "Pretest with Caution: Event-Study Estimates after Testing for Parallel Trends", American Economic Review: Insights 4(3), 2022 · Rambachan & Roth, Review of Economic Studies 90(5), 2023, arxiv.org/abs/1905.10820
위약검정: 효과가 없어야 할 곳
효과가 있어야 할 곳에서 효과를 찾는 것은 쉽다. 설계의 신뢰는 효과가 없어야 할 곳에서 0이 나오는지로 쌓인다.
세 가지 위약, 세 가지 반증 대상
위약검정(placebo test)은 처치가 없었던 곳에 같은 DiD를 적용해 0이 나오는지 본다. 무엇을 가짜로 만드느냐에 따라 반증하려는 위협이 다르다.
| 종류 | 절차 | 0이 아니면 무엇이 의심되는가 |
|---|---|---|
| ① 가짜 시점 | 처치 이전 기간만 잘라, 실제 처치가 없던 시점(예: 실제보다 2년 앞)을 처치 시점으로 가정하고 DiD를 추정한다. | 처치 전부터 존재하던 추세 차이. event study의 사전 계수 검사와 논리적으로 동일한 정보를 2×2 형태로 압축한 것이다. |
| ② 가짜 집단 | 처치를 받지 않은 집단 중 둘을 골라(예: 부산 vs 대구) 한쪽을 가짜 처치군으로 놓고 DiD를 추정한다. | 대조군 후보들 사이의 이질적 추세. 무처치 집단끼리도 "효과"가 나온다면, 그 크기가 이 설계에서 우연히 나올 수 있는 격차의 규모다. |
| ③ 가짜 결과변수 | 처치의 영향을 받을 수 없는 결과변수(예: 최저임금 인상에 대한 60대 자영업자 소득, 정책과 무관한 인접 산업의 지표)에 같은 DiD를 적용한다. | 결과변수 전반에 실린 처치군 고유의 충격. 영향권 밖 변수까지 "효과"를 보이면, 진짜 결과변수의 효과도 그 충격의 산물일 가능성이 크다. |
세 검정의 공통 논리는 반증이다. 설계가 옳다면 0이 나와야 하는 자리를 여러 개 만들어 두고, 실제로 0이 나오는지를 보인다. 하나라도 크게 어긋나면 본 추정치의 해석 전체가 재검토 대상이 된다.
위약검정에도 사전검정과 같은 주의가 적용된다. 위약 추정치가 유의하지 않다는 것은 검정력이 충분할 때만 정보가 있고, "0에 가깝다"는 판단은 신뢰구간과 함께 읽어야 한다. 또 위약 시점·집단·변수를 여러 개 시도해 놓고 0이 나온 것만 보고하는 것은 검정을 무력화한다. 어떤 위약을 왜 골랐는지를 사전에 정하고 전부 보고하는 것이 원칙이다.
②의 가짜 집단 검정을 체계화하면 순열검정(permutation test)이 된다. 모든 무처치 집단에 하나씩 가짜 처치를 배정해 얻은 추정치들의 분포 위에 실제 추정치를 올려놓고, 그것이 분포의 꼬리에 있는지 본다. 처치군이 하나뿐인 설계(한 지역만 정책 시행)에서 표준오차 대신 쓸 수 있는 추론 방법이며, 4장의 합성통제법에서 주된 추론 도구로 다시 등장한다.
생각해 볼 질문
③의 가짜 결과변수는 "처치의 영향을 받지 않는다"는 확신이 있어야 한다. 최저임금 연구에서 60대 자영업자 소득은 정말 영향권 밖인가? 파급 경로를 하나라도 떠올릴 수 있다면 이 변수는 위약으로 부적격이다.
출처 Bertrand, Duflo & Mullainathan, "How Much Should We Trust Differences-in-Differences Estimates?", Quarterly Journal of Economics 119(1), 2004 · Roth 외, Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194
민감도 분석: 질문을 바꾼다
"가정이 참인가"는 답할 수 없는 질문이다. 답할 수 있는 질문은 "가정이 얼마나 깨져도 결론이 버티는가"다.
위반의 크기를 허용하고 시작하는 추론
람바찬과 로스(Rambachan & Roth 2023)의 출발점은 발상의 전환이다. 평행추세가 정확히 성립한다고 가정하는 대신, 위반이 어떤 집합 안에 있다고만 가정하고, 그 집합 안의 모든 위반 시나리오에서 유효한 신뢰구간을 만든다.
사후 기간의 위반(반사실 추세 격차)을 \(\delta_{\text{post}}\)라 하자. 표준 DiD는 \(\delta_{\text{post}}=0\)을 가정한다. 이들의 상대적 크기(relative magnitudes) 제약은 대신 이렇게 가정한다.
\[ |\delta_{\text{post}}| \;\le\; M \times \max_{k<0}|\delta_k^{\text{pre}}| \]즉 "처치 후의 위반은 처치 전에 관측된 가장 큰 위반의 \(M\)배를 넘지 않는다". \(M=1\)이면 "미래의 위반이 과거보다 나쁘지 않다"는 뜻이고, \(M\)이 커질수록 관대한 가정이 된다. 사전 기간이 위반의 "규모 자(ruler)"가 되는 셈이다 — 사전 추세를 통과/탈락의 관문이 아니라 측정 도구로 쓴다는 것이 이 방법의 핵심 직관이다.
- 각 \(M\)에 대해, 제약을 만족하는 모든 위반 시나리오에서 유효한 honest 신뢰구간을 계산한다. \(M\)이 커질수록 구간은 넓어진다.
- 구간이 0을 포함하기 시작하는 \(M\)값, 즉 붕괴점(breakdown value)을 보고한다. "위반이 사전 최대 위반의 2배까지 커져도 효과는 여전히 유의하다"(붕괴점 \(M=2\))는 식의 문장이 된다.
- 독자는 자신이 믿는 \(M\)에서 결론이 살아 있는지를 스스로 판단한다. 가정의 수용 여부가 저자의 단언에서 독자의 판단으로 옮겨진다.
상대적 크기 제약 외에, 위반이 매끄럽게 변한다는 평활성(smoothness) 제약 — 사전 추세의 선형 외삽에서 크게 벗어나지 않는다는 가정 — 도 쓸 수 있다. 어느 제약이 적절한지는 위반의 원천(§1)에 대한 실질적 판단의 문제다. R 패키지 HonestDiD로 구현되어 있다.
이 접근은 §2의 두 문제를 정면으로 해결한다. 검정력 문제 — 사전 계수의 신뢰구간이 넓으면 "규모 자"도 그만큼 불확실해지고, honest 구간이 자동으로 넓어진다. 노이즈가 안심을 만들어주지 않는다. pre-test bias — 통과/탈락의 이분법이 사라지므로 통과 조건부 선별 자체가 없다. 사전 추세가 다소 보이는 설계도 버리는 대신 "그 크기의 위반을 허용한 결론"으로 보고할 수 있게 된다.
대가는 정직하게 넓어진 신뢰구간이다. 많은 응용에서 \(M=1\)만 허용해도 유의성이 사라진다는 것이 이 방법을 적용한 재분석들의 반복된 발견이며, 그것이 바로 이 방법이 필요한 이유다. 기존 관행의 확신이 평행추세의 정확한 성립이라는, 아무도 믿지 않는 가정에서 빌려온 것이었음을 드러내기 때문이다. 결론이 붕괴점 \(M<1\)에서 무너지는 연구와 \(M=3\)까지 버티는 연구는 같은 "유의한 DiD"라도 전혀 다른 강도의 증거다.
생각해 볼 질문
붕괴점 \(M\)이 얼마 이상이면 "강건한 결과"라 부를 수 있을까? 이 질문에 보편적 답이 없다는 것 — 위반의 원천에 대한 분야 지식이 들어가야 한다는 것 — 이 이 방법이 의도한 설계다.
출처 Rambachan & Roth, "A More Credible Approach to Parallel Trends", Review of Economic Studies 90(5), 2023, arxiv.org/abs/1905.10820 · Roth 외, Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194
나머지 가정들
평행추세를 통과해도 끝이 아니다. 무예견, SUTVA, 구성 안정성 중 하나만 무너져도 추정치는 오염된다.
세 가지 추가 가정과 각각의 방어선
1장의 식별에는 평행추세 외에 세 가정이 암묵적으로 함께 들어 있었다. 각각 위협의 사례, 진단 방법, 대응 전략이 다르다.
가정 A. 무예견(no anticipation): "전"은 정말 처치 이전인가
정책은 시행되기 전에 발표된다. 발표를 들은 처치군이 시행 전에 행동을 바꾸면 — 최저임금 인상이 예고되자 미리 고용을 줄이는 점주, 규제 시행 전에 서둘러 인허가를 받는 기업 — "전" 시점의 관측치가 이미 처치의 영향을 담게 되고, 기준선 \(k=-1\)이 오염된다. 효과의 일부가 사전 기간으로 새어 나가므로, 전후 변화로 잰 효과는 실제보다 작아 보인다.
- 진단 — 발표 시점과 시행 시점을 연표로 분리하고, event study에서 발표 직후 상대시점(\(k=-2, -1\) 등)의 계수가 움직이는지 본다. 무예견이 성립하면 발표 후·시행 전 구간도 0이어야 한다.
- 대응 — 예견이 의심되는 구간을 기준 시점에서 제외하고 더 이른 시점을 기준으로 삼거나, 처치 시작을 발표 시점으로 재정의한다.
가정 B. SUTVA: 대조군은 영향권 밖에 있는가
SUTVA(Stable Unit Treatment Value Assumption)는 한 개체의 처치가 다른 개체의 결과에 영향을 주지 않는다는 가정이다. 서울의 최저임금 인상으로 일자리를 잃은 노동자가 부산으로 이동해 구직하면, 부산의 노동시장 — 대조군의 결과변수 — 이 처치의 파급을 받는다. 이때 DiD가 재는 것은 처치 효과가 아니라 "처치 효과 − 파급 효과"다. 파급이 대조군 결과를 처치군과 반대 방향으로 움직이면 효과는 과대추정된다.
- 진단 — 파급의 경로(노동 이동, 소비자 이동, 공급망)를 명시적으로 나열하고, 처치군과의 인접성·연결성에 따라 대조군을 층화해 추정치가 달라지는지 본다.
- 대응 — 영향권이 의심되는 인접 지역을 대조군에서 제외한다. 또는 파급 자체를 관심 대상으로 삼아, 인접 대조군과 원거리 대조군의 격차로 파급 효과를 별도 추정한다.
가정 C. 구성 안정성: 같은 것을 비교하고 있는가
반복 횡단면 자료에서 정책이 표본 구성을 바꾸면 — 최저임금 인상 후 한계 점포가 폐업해 조사에서 사라지면 — 사후 표본은 "살아남은 점포"로 선별된 집단이다. 살아남은 점포의 평균이 좋아진 것은 효과가 아니라 생존 선별일 수 있다. 패널 자료에서는 같은 문제가 이탈(attrition)로 나타난다.
- 진단 — 이탈률 자체를 결과변수로 놓고 DiD를 돌려, 이탈이 처치와 상관되는지 확인한다. 표본의 관측 가능한 구성(업종, 규모 분포)이 전후로 달라졌는지 비교한다.
- 대응 — 전 기간 관측된 균형 패널(balanced panel)로 제한해 결과가 유지되는지 보고한다. 단, 균형 패널 제한 역시 생존자 선별이므로, 두 결과를 모두 보고하고 차이를 해석하는 것이 정직한 처리다. 이탈의 방향을 아는 경우 경계 분석(bounds)을 쓸 수 있다.
세 가정의 공통점은 평행추세와 달리 부분적으로는 데이터로 점검 가능하다는 것이다. 발표 후 구간의 계수, 인접성에 따른 추정치 변화, 이탈률의 DiD는 모두 관측 가능한 양이다. 그래서 이 가정들은 "믿음의 문제"가 아니라 "숙제의 문제"에 가깝다. 점검을 했는가 안 했는가가 논문의 신뢰도를 가른다.
1장의 카드-크루거 논쟁을 이 렌즈로 다시 보면 흥미롭다. 뉴마크와 워셔의 재반박은 상당 부분 측정(전화 설문 vs 급여 대장)과 표본 구성을 겨냥했다. 즉 그 논쟁은 평행추세가 아니라 가정 C의 전장에서 벌어졌다. 유명한 DiD 논쟁들의 상당수가 실제로는 "나머지 가정들"을 둘러싼 싸움이라는 점은, 이 절이 부록이 아니라 본론인 이유다.
생각해 볼 질문
무예견 위반(가정 A)과 표적화(§1의 ①)는 둘 다 "처치 직전 관측치의 오염"으로 나타난다. event study 그림만 보고 둘을 구별할 수 있는가? 구별에 어떤 추가 정보가 필요한가?
출처 Roth 외, "What's Trending in Difference-in-Differences?", Journal of Econometrics 235(2), 2023, arxiv.org/abs/2201.01194 · Kahn-Lang & Lang, Journal of Business & Economic Statistics 38(3), 2020.
Event Study 실험실
사전 계수가 한 방향으로 정렬되는 것이 위반의 시그니처다. 그리고 노이즈는 그 시그니처를 숨긴다 — 검정력 문제를 몸으로 확인한다.
사전 계수는 언제 경고하고, 언제 침묵하는가
한 줄 목표: 평행추세 위반이 사전 계수의 한 방향 정렬로 나타나는 것, 그리고 노이즈가 커지면 같은 위반이 있어도 사전 계수가 유의해 보이지 않게 되는 것(검정력 문제)을 눈으로 확인한다.
모의 패널의 \(\delta_k\) 추정
처치군·대조군 각 200개체, 상대시점 \(k=-5\)부터 \(+4\)까지의 모의 패널에서 \(\delta_k\)(각 \(k\)의 처치군−대조군 격차, \(k=-1\) 기준 정규화)를 추정하고 95% 신뢰구간과 함께 그린다. 처치는 \(k=0\)에 시작된다.
조작 안내 — ① 위반 0, 노이즈 2에서 시작해 사전 계수들이 0 주변에 흩어져 있는 것을 확인하라. ② 위반 슬라이더를 +0.5로 올려 보라. ③ 위반을 +0.3쯤에 두고 노이즈를 8까지 키운 뒤, "표본 다시 생성"을 여러 번 눌러 보라.
관찰 포인트 — ②에서 사전 계수들이 0에서 벗어나 우상향 직선으로 정렬되면 첫 관찰 성공. 무작위 흩어짐이 아니라 한 방향 정렬이 위반의 시그니처다(위반이 음수면 우하향). ③에서 신뢰구간이 넓어지며 사전 계수 대부분이 0을 포함하게 되어 위반이 있는데도 사전검정이 통과로 나오는 표본이 자주 나타나면 두 번째 관찰 성공. 이때 사후 계수의 편향(readout의 "추정−진짜" 격차)은 사라지지 않았다는 점까지 확인하라 — 통과가 안심의 근거가 못 되는 이유를 그 격차가 보여준다.
이 시뮬레이터의 위반은 선형 추세 하나로 단순화되어 있다. 그래서 사전 계수의 정렬이 직선으로 깨끗하게 보인다. 현실의 위반은 처치 직전에만 나타나는 골짜기(표적화), 특정 시점의 일회성 충격(처치군 고유 사건) 등 형태가 다양하고, 각각 사전 계수에 다른 무늬를 남긴다. 골짜기형 위반은 \(k=-2,-1\) 근처만 움직이므로 먼 과거의 사전 계수로는 잡히지 않는다 — 사전 계수를 "몇 개나 볼 것인가"와 "어느 구간을 볼 것인가"가 실질적인 설계 결정인 이유다.
또 하나 확인할 것. 노이즈를 키웠을 때 넓어지는 것은 사전 계수의 구간만이 아니라 사후 계수의 구간도 마찬가지다. 그런데 사전 계수에서는 "유의하지 않음 = 통과"로 읽고 사후 계수에서는 "유의함 = 효과"로 읽는 순간, 같은 노이즈가 앞에서는 면죄부로, 뒤에서는 증거로 이중 사용된다. §4의 honest 접근이 사전 구간의 폭을 결론의 불확실성에 자동 반영하는 것은 정확히 이 이중 사용을 막는 장치다.
출처 시뮬레이션 설계는 Roth (2022)의 검정력 논증과 Freyaldenhoven 외 (2019)의 시각화 규약을 단순화한 것이다. 데이터는 브라우저에서 생성되는 모의 패널이다.
퀴즈와 핵심 정리
먼저 스스로 답한 뒤 펼쳐서 확인하라.
퀴즈
event study에서 처치 이전 계수들이 0에서 벗어나 우상향 추세를 보인다. 무엇을 의미하며 어떻게 대응해야 하는가?
사전 기간 5개 시점에서 두 집단의 추세가 통계적으로 구분되지 않았다. "평행추세 가정이 검증되었다"는 서술은 왜 틀렸는가?
최저임금 인상이 6개월 전에 예고되자 일부 점주가 미리 고용을 줄였다. 이 무예견 위반은 DiD 추정치를 어느 방향으로 왜곡하는가?
서울의 정책으로 일자리를 잃은 노동자들이 부산으로 이동해 부산 고용 지표가 움직였다. 무엇이 위반되었고, 추정은 어떻게 왜곡되며, 대조군을 어떻게 다시 골라야 하는가?
하나. 사전 추세의 평행은 증명이 아니라 정황이다. 평행추세는 반사실에 대한 진술이므로 어떤 데이터로도 검증이 완결되지 않으며, 사전 확인은 반증에 실패했다는 것 이상을 말해주지 않는다.
둘. 사전검정 통과는 면죄부가 아니다. 검정력이 낮으면 통과는 노이즈의 산물이고, 통과 조건부로 진행하는 관행 자체가 추정을 왜곡한다. 현대적 답은 관문이 아니라 자 — 관측된 사전 위반을 규모의 척도로 삼아 결론의 붕괴점을 보고하는 것이다.
셋. 평행추세만 지키면 되는 것이 아니다. 무예견·SUTVA·구성 안정성은 부분적으로 점검 가능한 가정들이며, 유명한 DiD 논쟁의 상당수가 실제로는 이 전장에서 벌어졌다. 점검하지 않은 가정은 가정이 아니라 맹점이다.
참고문헌
연도는 출간 기준. 링크는 공개 원문(arXiv 등)이 확인된 경우에만 달았다.
고전
- Ashenfelter, O. (1978). Estimating the Effect of Training Programs on Earnings. Review of Economics and Statistics, 60(1), 47–57.
- Ashenfelter, O., & Card, D. (1985). Using the Longitudinal Structure of Earnings to Estimate the Effect of Training Programs. Review of Economics and Statistics, 67(4), 648–660.
- LaLonde, R. (1986). Evaluating the Econometric Evaluations of Training Programs with Experimental Data. American Economic Review, 76(4), 604–620.
검증과 민감도
- Kahn-Lang, A., & Lang, K. (2020). The Promise and Pitfalls of Differences-in-Differences: Reflections on 16 and Pregnant and Other Applications. Journal of Business & Economic Statistics, 38(3), 613–620.
- Roth, J. (2022). Pretest with Caution: Event-Study Estimates after Testing for Parallel Trends. American Economic Review: Insights, 4(3), 305–322.
- Rambachan, A., & Roth, J. (2023). A More Credible Approach to Parallel Trends. Review of Economic Studies, 90(5), 2555–2591. arxiv.org/abs/1905.10820
- Freyaldenhoven, S., Hansen, C., & Shapiro, J. (2019). Pre-event Trends in the Panel Event-Study Design. American Economic Review, 109(9), 3307–3338.
- Roth, J., Sant'Anna, P. H. C., Bilinski, A., & Poe, J. (2023). What's Trending in Difference-in-Differences? A Synthesis of the Recent Econometrics Literature. Journal of Econometrics, 235(2), 2218–2244. arxiv.org/abs/2201.01194 — 이 장 전체의 배경이 되는 서베이, 필독.
인용 원칙 본문 수치는 원문 기준으로 표기했다. 1차 자료 확인이 어려운 서술은 "~로 알려져 있다", 후대의 해석은 "~로 읽는다/지목된다"로 구분해 적었다. 링크는 arXiv 등 공개 원문이 확인된 경우에만 달았다.
이 자료는 단일 HTML 파일로 배포되며, 수식은 MathJax, 실습은 순수 JavaScript로 구현되어 오프라인에서도 동작한다(수식 렌더링만 최초 1회 네트워크 필요). 색상 규약: 붉은색 = 처치군(사후 계수), 청록색 = 대조군(사전 계수), 회색 점선 = 반사실·기준선.