시변 처치와
반사실 궤적
처치가 상태를 바꾸고 상태가 다시 처치를 정하는 되먹임 속에서는, 어떤 변수 선택도 회귀를 구하지 못한다. 조건화를 버리고 재가중·균형 표현·시뮬레이션으로 우회하는 g-methods와 그 딥러닝 후계자들. 16셀을 손으로 다 세어 보는 실습이 함께 들어 있다.
의사의 손이 데이터를 오염시킨다
알고 싶은 것은 한 번의 투약이 아니라 투약 전략의 효과다. 표준 회귀는 이 질문에 답할 수 없었고, 그 막다른 길에서 g-methods가 태어났다.
계속 투약할 것인가, 지금 중단할 것인가
1980년대, HIV가 유행하던 시기의 병동을 생각하자. 의사는 매달 환자의 면역수치(CD4)를 보고 항바이러스제 투약 여부를 정한다. 투약은 다음 달의 면역수치를 바꾸고, 바뀐 수치는 다시 다음 투약 결정을 바꾼다. 하버드의 역학자 제임스 로빈스(James Robins)가 정면으로 마주한 것이 바로 이 되먹임 구조였다.
임상이 정말 알고 싶은 것은 "이번 달 투약의 효과"가 아니다. "계속 투약"이라는 전략과 "즉시 중단"이라는 전략 중 무엇이 몇 달 뒤 생존을 좋게 하는가다. 그런데 관측 자료에서 투약은 상태가 나쁜 환자에게 몰린다. 투약군의 결과가 나빠 보이는 것은 약이 해로워서가 아니라 아픈 사람이 약을 받아서다. 여기까지는 익숙한 교란이다. 문제는 그 다음이다. 교란요인인 면역수치가 동시에 과거 투약의 결과이기도 하다는 것. 로빈스는 이 구조에서는 어떤 회귀도, 어떤 변수 선택도 답을 주지 못함을 보이고, 조건화 자체를 우회하는 새 계산법을 제안했다. 1986년의 g-formula가 그 출발점으로 알려져 있으며, 이후 이 계열 전체가 g-methods라 불린다.
이 장은 그 문제와 해법을 딥러닝 시대의 언어로 다시 본다. 순서는 셋이다. 먼저 시변 교란이 정확히 왜 막다른 길인지 2기간 예제로 해부하고, 다음으로 세 갈래 탈출로(재가중·균형 표현·시뮬레이션)와 각각의 신경망 구현을 보고, 마지막으로 16셀짜리 장난감 세계에서 세 추정치가 갈라지는 것을 직접 계산한다.
역사에는 정황 표시가 하나 필요하다. 로빈스의 1986년 논문이 실제로 다룬 응용은 HIV가 아니라 직업역학이었다. 유해 물질에 노출되는 노동자 집단에서, 건강이 나빠진 사람이 먼저 현장을 떠나는 "건강 노동자 생존 효과" 때문에 노출과 사망의 관계가 왜곡되는 문제다. 구조는 동일하다. 노출이 건강을 바꾸고, 건강이 다음 노출(잔류 여부)을 바꾼다. HIV 치료는 1990년대에 이 방법론의 대표 응용이 되었고, 2000년 Epidemiology에 실린 로빈스·에르난·브럼백의 MSM 논문과 그 동반 논문(AZT가 HIV 양성 남성의 생존에 미친 효과)이 상징적 사례다.
"전략(treatment regime)"이라는 비교 단위를 명확히 해 두자. "항상 투약"처럼 시점별 처치값을 미리 고정하는 것이 정적 전략, "CD4가 역치 아래로 내려가면 투약 시작"처럼 관측되는 상태에 따라 처치를 정하는 규칙이 동적 전략이다. 실제 임상 지침은 대부분 동적 전략이며, 이 장의 방법들은 원리적으로 둘 다 평가할 수 있다. 반사실 표기로는 전략 \(g\)를 따랐을 때의 잠재결과 \(Y^{g}\)를 전략 간 비교하는 것이 목표다. 1장에서 잠재결과 한 쌍 \(Y(1), Y(0)\)을 비교했던 것의 시퀀스 일반화다.
생각해 볼 질문
내 연구 분야에서 "처치가 상태를 바꾸고 상태가 다음 처치를 정하는" 되먹임을 하나 떠올려 보자. 기업의 연구개발 투자와 실적, 중앙은행의 금리와 물가, 플랫폼의 추천과 사용자 행동. 그 문제에서 "전략"에 해당하는 것은 무엇인가?
출처 Robins, "A New Approach to Causal Inference in Mortality Studies with a Sustained Exposure Period", Mathematical Modelling 7, 1986 · Hernán & Robins, Causal Inference: What If, CRC Press (무료 공개), hsph.harvard.edu/miguel-hernan/causal-inference-book
시변 교란의 해부
중간 상태 L은 넣어도 틀리고 빼도 틀린다. 시변 교란은 변수를 잘 고르는 문제가 아니라, 조건화라는 도구 자체가 닿지 않는 문제다.
다섯 개의 노드: A₁ → L → A₂ → Y, 그리고 U
시변 교란의 전체 구조는 2기간이면 이미 다 나온다. 시점 1의 투약 \(A_1\), 그 후 측정된 면역수치 \(L\), 시점 2의 투약 \(A_2\), 최종 결과 \(Y\), 그리고 관측되지 않는 기저 중증도 \(U\)다.
- \(A_1 \to L\): 1기 투약이 면역수치를 개선한다. 처치가 상태로 되먹임되는 화살표다.
- \(L \to A_2\): 의사는 수치가 나쁘면 2기에 투약한다. 상태가 처치를 결정한다.
- \(L \to Y\): 면역수치는 결과에도 직접 영향을 준다.
- \(U \to L\), \(U \to Y\): 원래 중증인 환자는 수치도 낮고 결과도 나쁘다. \(U\)는 어느 시점에도 측정되지 않는다.
- \(A_1 \to Y\), \(A_2 \to Y\): 우리가 재고 싶은 처치 효과 그 자체.
이 그래프는 앞 장들에서 본 구조들의 합성이다. \(U \to L \to A_2\)와 \(U \to Y\)만 보면 전형적인 미관측 교란(단, \(L\)이라는 대리 변수가 관측된다), \(A_1 \to L \to Y\)만 보면 전형적인 매개, \(A_1 \to L \leftarrow U\)만 보면 전형적인 충돌부다. 각각 따로라면 처방이 있다. 교란요인은 조정하고, 매개변수와 충돌부는 조정하지 않는다. 시변 처치의 고약함은 세 구조가 한 변수 위에 포개진다는 데 있다.
2기간은 단순화가 아니라 일반화의 씨앗이다. 시점을 \(t = 1, \dots, T\)로 늘리면 처치 이력 \(\bar{A}_t = (A_1, \dots, A_t)\)와 공변량 이력 \(\bar{L}_t\)가 서로를 번갈아 낳는 사슬이 되고, 매 시점의 \(L_t\)가 위와 같은 이중 신분을 갖는다. 그래서 2기간에서 성립하는 논증은 그대로 \(T\)기간으로 확장된다. 교과서 What If의 3부가 이 확장을 정밀하게 다룬다.
출처 Hernán & Robins, Causal Inference: What If, CRC Press, Part III (time-varying treatments), hsph.harvard.edu/miguel-hernan/causal-inference-book · Robins, Mathematical Modelling 7, 1986.
넣어도 틀리고 빼도 틀린다
"항상 투약 vs 무투약" 전략의 효과를 회귀로 재려 한다고 하자. 질문은 하나다. \(L\)을 우변에 넣을 것인가, 뺄 것인가. 단계별로 따라가면 양쪽 다 막힌다.
- \(L\)을 빼면 — 교란이 남는다. \(A_2\)는 \(L\)을 보고 결정되었고 \(L\)은 \(U\)를 통해 \(Y\)와 얽혀 있다. \(L\)을 통제하지 않으면 \(A_2 \leftarrow L \leftarrow U \to Y\)의 뒷문 경로가 열린 채로 남아, \(A_2\)의 계수에 "아픈 사람이 약을 받았다"는 선택 효과가 섞인다.
- \(L\)을 넣으면 — 과잉통제. \(A_1\)의 효과 중 일부는 \(A_1 \to L \to Y\)와 \(A_1 \to L \to A_2 \to Y\)로 전달된다. \(L\)을 고정하는 순간 이 경로들이 차단되어, \(A_1\)의 계수는 전략 효과가 아니라 "면역수치가 같았을 경우의 직접 효과"라는 다른 질문의 답이 된다.
- \(L\)을 넣으면 — 충돌부까지 열린다. \(L\)은 \(A_1\)과 \(U\)의 공동 결과다. 공동 결과를 조건화하면 원인들 사이에 없던 상관이 생긴다(충돌부 편향). 같은 수치의 환자만 놓고 보면, 투약을 받고도 수치가 낮은 환자는 기저 중증도가 높은 쪽으로 쏠린다. \(A_1\)과 \(U\)가 표본 안에서 음의 상관을 갖게 되고, \(U \to Y\)를 타고 \(A_1\)의 계수가 오염된다.
정리하면, \(L\)은 \(A_2\)에 대해서는 교란요인이라 조정이 필요하고, \(A_1\)에 대해서는 매개변수이자 충돌부라 조정이 금지된다. 한 회귀식 안에서 \(L\)은 한 번만 취급할 수 있으므로, 어느 쪽을 택해도 다른 쪽이 무너진다. 이것이 시변 교란(time-varying confounding)이며, 필요한 것은 더 나은 변수 선택이 아니라 조건화를 대체할 다른 연산이다.
"이력을 전부 통제변수로 넣으면 안전하다. 통제는 많을수록 좋다." — 정반대다. 위 구조에서 이력 전체 \((A_1, L)\)을 조건화한 회귀는 \(A_1\)의 효과를 구조적으로 잘못 잰다. 표본을 늘려도, 모형을 유연하게 바꿔도(심층망으로 바꿔도) 사라지지 않는 식별의 문제다. 1장에서 "나쁜 통제"를 처음 만났다면, 시변 처치는 좋은 통제와 나쁜 통제가 같은 변수인 세계다.
충돌부 편향의 방향을 한 번 손으로 확인해 두면 좋다. \(L\)이 "수치 양호"라는 이진 변수이고 \(A_1\)과 낮은 \(U\)(경증)가 모두 \(L=1\)의 확률을 높인다고 하자. \(L=1\)인 환자만 모으면, 투약 없이(\(A_1=0\)) 수치가 양호해진 환자는 애초에 경증이었을 가능성이 높다. 즉 층 안에서 \(A_1=0\)과 경증이 함께 몰리며 \(A_1\)과 \(U\) 사이에 상관이 만들어진다. 이 장 실습의 층화 추정치가 어긋나는 이유가 정확히 이것이고, 되먹임 계수 \(a\)를 0으로 만들면(즉 \(A_1 \to L\) 화살표를 지우면) 어긋남이 사라지는 것도 같은 논리다.
이 진퇴양난에는 식별 가능성의 조건이 따로 있다. 매 시점 처치가 그때까지 관측된 이력만으로 설명된다는 순차적 교환가능성(sequential exchangeability), 어떤 이력에서도 각 처치를 받을 확률이 0이 아니라는 순차적 양수성(positivity), 그리고 일관성(consistency)이다. 위 그래프가 그 조건을 만족하는 이유는 \(U\)가 처치에 직접 닿지 않기 때문이다. \(U\)는 \(L\)을 통해서만 투약 결정에 들어가고 \(L\)은 관측된다. 만약 \(U \to A_2\) 화살표가 직접 있다면 이 장의 어떤 방법도 구제하지 못한다. g-methods는 마법이 아니라, "조건은 성립하는데 회귀가 못 푸는" 문제의 해법이다.
출처 Hernán & Robins, Causal Inference: What If, Part III · Robins, Hernán & Brumback, "Marginal Structural Models and Causal Inference in Epidemiology", Epidemiology 11(5), 2000.
재가중: 의사 무작위 모집단을 짓는다
조건화 대신 가중치. 각 환자를 "그 치료 이력이 나올 확률"의 역수로 세면, 치료가 상태와 무관하게 배정된 가상의 모집단이 만들어진다.
MSM과 RMSN: 역확률로 다시 세기
주변구조모형(Marginal Structural Model, MSM)의 발상은 표본을 다시 세는 것이다. 각 환자에게 "이 환자가 실제로 밟은 치료 이력이 (그의 상태 이력을 볼 때) 나올 확률"의 역수를 가중치로 준다.
상태를 보면 치료가 뻔히 예측되는 환자, 즉 수치가 나빠서 투약받은 환자는 확률이 높으므로 가볍게 센다. 상태로 보면 뜻밖의 치료를 받은 환자, 즉 수치가 좋은데도 투약받았거나 나쁜데도 받지 않은 환자는 확률이 낮으므로 무겁게 센다. 이렇게 재가중된 의사 모집단(pseudo-population)에서는 치료가 상태와 무관하게, 무작위처럼 배정된 셈이 된다. 뒷문 경로가 데이터 쪽에서 끊기므로, 그 위에서는 단순 비교가 곧 인과 비교이고 \(L\)을 조건화할 필요가 없다. 과잉통제와 충돌부 문제는 아예 발생하지 않는다.
가중치를 그대로 쓰면 확률이 0에 가까운 이력에서 값이 폭발한다. 그래서 분자에 상태를 뺀 주변확률을 넣은 안정화 가중치(stabilized weights)가 관례다.
\[ SW_i \;=\; \prod_{t=1}^{T} \frac{P\big(A_t = a_{it} \,\big|\, \bar{A}_{t-1} = \bar{a}_{i,t-1}\big)}{P\big(A_t = a_{it} \,\big|\, \bar{A}_{t-1} = \bar{a}_{i,t-1},\, \bar{L}_{t} = \bar{l}_{it}\big)} \]분모는 상태 이력까지 본 치료확률, 분자는 상태를 보지 않은 치료확률이다. 상태가 치료 결정에 거의 정보를 주지 않는 환자는 분자와 분모가 비슷해 가중치가 1 근처에 머물고, 전체 분산이 크게 줄어든다.
Lim, Alaa & van der Schaar의 RMSN(Recurrent Marginal Structural Networks, NeurIPS 2018)은 고전 MSM이 로지스틱 회귀 두 번으로 하던 일을 이렇게 시퀀스 모델 두 개로 대체한다. 얻는 것은 긴 이력과 비선형 치료 정책의 처리 능력이고, 치르는 대가는 고전 MSM과 같다. 극단 가중치의 분산이다. 어떤 이력의 치료확률이 0에 접근하면 소수의 환자가 추정치를 지배한다.
이름의 "주변(marginal)"은 모형이 \(\mathbb{E}[Y^{\bar a}]\)를, 즉 상태를 조건화하지 않은 주변 기대값을 전략 \(\bar a\)의 함수로 직접 모형화한다는 뜻이다. 예컨대 \(\mathbb{E}[Y^{\bar a}] = \beta_0 + \beta_1 \sum_t a_t\) 같은 식을 의사 모집단 위에서 적합하면 \(\beta_1\)이 전략 효과의 파라미터가 된다. 조건부 회귀의 계수가 답할 수 없던 질문을, 모형을 반사실의 세계 위에 직접 세움으로써 답하는 구조다.
실무에서 가중치 분산은 이론적 각주가 아니라 첫 번째 골칫거리다. 표준 처방은 가중치의 분포를 반드시 확인하고(평균이 1에서 크게 벗어나면 확률 모형의 오설정 신호), 상하위 1% 수준에서 가중치를 자르는 것(truncation)이다. 자르면 분산은 줄지만 편향이 들어오므로, 이는 분산-편향 거래를 명시적으로 받아들이는 선택이다. RMSN 논문도 종양 성장 시뮬레이션에서 가중치 안정화와 잘라내기를 함께 쓴다.
재가중의 근본 한계도 적어 두자. 역확률 가중은 양수성 위반에 가장 민감한 갈래다. "수치가 매우 좋은 환자가 투약받는 일이 관측 자료에 사실상 없다"면, 그 영역의 반사실은 소수 표본의 거대 가중치로 외삽되거나 아예 계산 불능이 된다. 뒤에 나올 g-formula는 같은 상황에서 모형 외삽으로 조용히 답을 내놓는데, 어느 쪽이 더 위험한지는 상황에 따라 다르다. 시끄럽게 실패하는 방법과 조용히 실패하는 방법의 대비다.
출처 Robins, Hernán & Brumback, "Marginal Structural Models and Causal Inference in Epidemiology", Epidemiology 11(5), 2000 · Lim, Alaa & van der Schaar, "Forecasting Treatment Responses over Time Using Recurrent Marginal Structural Networks", NeurIPS, 2018.
균형 표현: 표현에서 치료 정보를 지운다
가중치 대신 표현을 손본다. 판별기가 현재 치료를 맞히지 못하게 인코더를 몰아붙이면, 치료 배정 정보가 지워진 이력 표현이 남는다.
CRN: 판별기를 이겨야 하는 인코더
Bica 등의 CRN(Counterfactual Recurrent Network, ICLR 2020)은 재가중을 버리고 표현학습으로 간다. 인코더 RNN이 매 시점까지의 이력(공변량·치료·결과)을 읽어 표현 \(\Phi_t\)를 만드는데, 이 표현에 적대적 게임을 붙인다.
- 별도의 판별기가 \(\Phi_t\)만 보고 "이 시점의 치료 \(A_t\)가 무엇인지" 맞히려 든다.
- 인코더는 두 가지를 동시에 하도록 학습된다. 결과는 잘 예측하되, 판별기는 맞히지 못하게 만들 것. 구현은 gradient reversal 층 하나다. 순전파는 그대로 두고 역전파에서 판별기 손실의 기울기 부호를 뒤집어 인코더에 흘린다.
- 게임이 균형에 도달하면 \(\Phi_t\)는 결과 예측에 유용하면서도 현재 치료와는 통계적으로 무관한 표현, 즉 치료 배정 정보가 지워진 표현이 된다. 그 표현 위에서는 치료군 간 비교가 교란 없는 비교가 된다.
이것은 5장에서 본 CFRNet의 시퀀스 확장이다. CFRNet이 단일 시점에서 처치군과 대조군의 표현 분포를 IPM 거리로 끌어당겼다면, CRN은 매 시점의 이력 표현을 그 시점의 치료 배정과 분리한다. 시변 교란의 언어로 말하면, \(L_t\)가 \(A_t\)를 예측하는 정보가 표현 단계에서 제거되므로 뒷문이 표현 공간에서 닫히는 셈이다. 디코더에 계획된 치료 시퀀스를 넣어 굴리면 "이 치료 계획을 따르면 4주 뒤 종양 크기는?" 같은 다중 시점 반사실 예측이 나온다.
대가도 CFRNet과 같은 곳에 있다. 균형을 과도하게 밀면 치료와 상관된 정보뿐 아니라 결과 예측에 필요한 정보까지 함께 지워진다. 시변 교란 상황에서 치료를 예측하는 변수(면역수치)는 대개 결과도 예측하는 변수이기 때문에, 두 목표는 본질적으로 긴장 관계다. 균형 강도를 정하는 하이퍼파라미터가 곧 편향-예측력 거래의 손잡이가 된다.
gradient reversal은 도메인 적응 분야의 DANN(domain-adversarial neural network)에서 빌려온 장치다. 원래 용도는 "소스 도메인인지 타깃 도메인인지 구별되지 않는 특징"을 배우는 것이었고, CRN은 도메인 자리에 치료 배정을 넣었다. 반사실 추정을 "치료라는 도메인 간의 분포 이동 문제"로 읽는 이 관점은 이후 Causal Transformer까지 이어지는 이 갈래의 공통 문법이다.
재가중과의 실무적 대비는 이렇다. CRN은 가중치가 없으므로 극단 가중치의 분산 문제가 없고, 치료확률 모형을 따로 세울 필요도 없다. 대신 잃는 것이 있다. 균형 표현이 실제로 교란을 다 제거했는지 진단할 통계량이 마땅치 않다. 가중치는 분포를 들여다보며 이상을 감지할 수 있지만, 표현 공간의 균형은 판별기 손실 말고는 들여다볼 창이 없다. 또 하나, 이론적 보장의 결이 다르다. 재가중·g-formula가 식별 가정 아래 일치추정량이라는 통계적 보장을 갖는 반면, 적대적 균형화의 보장은 표현이 충분히 유연하고 게임이 이상적 균형에 도달한다는 조건부다.
생각해 볼 질문
판별기가 치료를 전혀 못 맞히는 표현이 만들어졌다고 하자. 이것으로 교란 제거가 보장되는가? 힌트: 판별기의 용량이 작다면, "판별기가 못 맞힌다"와 "정보가 없다"는 같은 말이 아니다.
출처 Bica, Alaa, Jordon & van der Schaar, "Estimating Counterfactual Treatment Outcomes over Time through Adversarially Balanced Representations", ICLR, 2020, arxiv.org/abs/2002.04083 · Shalit, Johansson & Sontag, "Estimating Individual Treatment Effect: Generalization Bounds and Algorithms", ICML, 2017.
시뮬레이션: 전략을 고정하고 세계를 굴린다
세계가 돌아가는 규칙(시점별 조건부 분포)을 통째로 적합한 뒤, 관심 전략을 손으로 고정하고 몬테카를로로 미래를 전개한다. 반사실 궤적의 전체 분포가 나온다.
g-formula와 G-Net: 반사실 세계의 기상 시뮬레이션
g-formula의 발상은 앞의 두 갈래와 또 다르다. 데이터를 다시 세지도, 표현을 지우지도 않는다. 대신 세계의 규칙, 즉 시점별 조건부 분포를 전부 적합해 버린다.
\[ \mathbb{E}\big[Y^{\bar a}\big] \;=\; \sum_{\bar l} \; \mathbb{E}\big[Y \,\big|\, \bar{A}=\bar a,\, \bar{L}=\bar l\,\big] \;\prod_{t} P\big(L_t = l_t \,\big|\, \bar{A}_{t-1} = \bar a_{t-1},\, \bar{L}_{t-1} = \bar l_{t-1}\big) \]식을 말로 풀면 이렇다. 상태의 전개 규칙 \(P(L_t \mid \text{과거})\)와 결과 규칙 \(\mathbb{E}[Y \mid \text{전체 이력}]\)을 관측 자료에서 배운 뒤, 치료 자리에는 관측값 대신 관심 전략 \(\bar a\)를 손으로 꽂고 상태를 시점 순서로 전개하며 합산한다. 치료가 상태를 따라가는 것이 아니라 전략이 명령하므로, \(L\)을 조건화하며 생기던 모든 문제가 원천적으로 없다. \(L\)은 조건화의 대상이 아니라 시뮬레이션의 중간 산물이 된다. 이 장 실습의 세 번째 추정량이 정확히 이 식의 2기간 버전, \(\sum_{l} P(l \mid a_1)\, \mathbb{E}[Y \mid a_1, l, a_2]\)다.
Li 등의 G-Net(ML4H 2021)은 이 조건부 분포들을 순환신경망으로 적합하고, 고차원 이력의 합산을 몬테카를로로 대체한다. "계속 투약" 전략을 고정한 채 상태와 결과를 수천 번 시뮬레이션하면 반사실 궤적의 전체 분포가 나온다. 평균 효과만이 아니라 "이 전략에서 4주 안에 악화할 확률은 몇 %인가", "최악 10% 시나리오의 궤적은 어떤 모양인가" 같은 리스크 질문에 답할 수 있고, 상태에 반응하는 동적 전략("수치가 떨어지면 투약 시작")도 시뮬레이션 규칙에 넣기만 하면 평가된다. 앞의 두 갈래가 주지 못하는 산출물이다.
대가는 명확하다. 시점마다 조건부 분포 모형이 조금씩 틀리면, 틀린 표본이 다음 시점의 입력으로 들어가 오차가 시점을 따라 복리로 누적된다. 예측 지평이 길수록 모형 오설정의 벌금이 지수적으로 커지는 구조이며, 세 갈래 중 모형 가정에 가장 많이 기대는 방법이다.
"복리 누적"의 감각을 숫자로 잡아 두자. 한 시점의 상태 분포 근사가 아주 작게, 예컨대 상대오차 5%씩만 어긋난다고 해도 그 왜곡된 분포에서 뽑은 표본이 다음 시점 모형의 입력이 되므로, 10시점 뒤에는 오차가 단순 합산이 아니라 곱의 구조로 쌓인다. 최악의 경우 \(1.05^{10} \approx 1.63\), 60% 이상의 왜곡도 가능하다. 실제 누적 속도는 시스템의 안정성(오차가 감쇠하는 동역학인가 증폭되는 동역학인가)에 달려 있어 이보다 나을 수도 나쁠 수도 있지만, "긴 지평의 g-computation은 짧은 지평보다 검증 부담이 질적으로 크다"는 결론은 일반적이다.
고전 통계의 파라메트릭 g-formula에는 g-null paradox라는 미묘한 문제가 알려져 있다. 시점별 조건부 모형들을 단순한 파라메트릭 형태로 두면, 처치 효과가 실제로 0인 세계에서조차 모형들이 동시에 옳을 수 없어 검정이 귀무가설을 기각해 버리는 현상이다. 신경망처럼 유연한 분포 모형은 이 문제를 완화하는 방향이지만, 그 대신 유한 표본에서의 분산과 외삽 위험을 얹는다. 공짜는 없다.
G-Net류의 강점이 가장 빛나는 곳은 중환자실(ICU)처럼 상태가 고차원 시계열(혈압, 젖산, 투약 용량…)이고 질문이 "이 수액 전략을 유지하면 6시간 뒤 상태 분포는?"처럼 궤적 자체인 도메인이다. 원 논문의 실험도 기계적 순환 모형과 ICU 데이터 기반 시뮬레이션으로 구성되어 있다.
출처 Robins, "A New Approach to Causal Inference in Mortality Studies with a Sustained Exposure Period", Mathematical Modelling 7, 1986 · Li et al., "G-Net: A Recurrent Network Approach to G-Computation for Counterfactual Prediction under a Dynamic Treatment Regime", ML4H (PMLR), 2021.
Causal Transformer, 그리고 세 갈래의 지도
어텐션이 먼 과거의 치료와 상태를 직접 참조한다. 세 갈래는 유행의 문제가 아니라, 무엇을 대가로 치를 것인가의 선택지다.
세 개의 이력, 교차 어텐션, domain confusion
Melnychuk 등의 Causal Transformer(ICML 2022)는 균형 표현 갈래의 현재형이다. 공변량 이력, 치료 이력, 결과 이력을 각자의 서브네트워크(세 개의 트랜스포머)로 처리하고, 서로의 표현을 교차 어텐션으로 참조하게 한다.
균형화 장치도 교체되었다. CRN의 gradient reversal 대신, 표현이 "어느 치료 하에서 나온 것인지" 구별되지 않도록 유도하는 domain confusion 손실을 쓴다. 판별기를 속이는 게임이 아니라, 표현에서 예측한 치료 분포가 균등 분포에 가까워지도록 직접 벌점을 주는 방식으로, 적대적 학습 특유의 불안정성을 줄인 설계다. 목표는 같다. 치료 배정 정보가 지워진, 그러나 결과 예측력은 남은 표현.
RNN 계열과의 차이는 이력의 길이에서 드러난다. RNN은 먼 과거를 은닉 상태라는 병목에 눌러 담아야 하지만, 어텐션은 필요한 시점의 치료·상태를 직접 조회한다. 몇 달 전의 투약이 지금의 반응을 바꾸는 지연 효과, 장기 예측에서의 오차 누적 관리 모두에서 유리하며, 실제로 종양 성장·준합성·실데이터 벤치마크에서 RMSN과 CRN을 능가하는 성능을 보고했다. 시퀀스 모델링의 최신 도구가 인과 문제로 이식되는 흐름의 대표 사례다.
| 갈래 | 교란을 다루는 방식 | 대표 모형 | 대가 |
|---|---|---|---|
| 재가중 | 역확률 가중으로 의사 무작위 모집단 재구성. 조건화 자체를 회피 | MSM → RMSN | 극단 가중치의 분산, 양수성 위반에 민감 |
| 균형화 | 이력 표현에서 치료 배정 정보를 적대적으로(또는 confusion 손실로) 제거 | CFRNet → CRN → Causal Transformer | 과도 균형 시 결과 예측 정보 손실, 진단 곤란 |
| 시뮬레이션 | 시점별 조건부 분포를 전부 적합 후, 전략 고정 몬테카를로 전개 | g-formula → G-Net | 조건부 모형 오차의 시점별 복리 누적 |
이 장의 구조는 궤적예측 연구와 정확히 포개진다. "환자 상태 이력 + 치료 이력 → 반사실 건강 궤적"에서 환자를 차량으로 치환하면, "주변 상황 이력 + 제어 입력 이력 → 반사실 주행 궤적"이 된다. 자율주행의 계획 평가, 즉 "그 순간 다른 개입을 했다면 궤적이 어떻게 달라졌을까"는 문자 그대로 시변 처치 문제이고, 관측 주행 로그의 제어 입력은 상황(상태)을 보고 결정된 것이므로 시변 교란까지 그대로 있다.
Causal Transformer의 세 이력 구조를 (주변 상황, 제어 입력, 차량 상태)로 옮기고 domain confusion으로 제어 정보를 표현에서 지우는 이식은 자연스러운 논문 주제다. G-Net식 몬테카를로를 붙이면 "이 회피 전략의 충돌 확률 분포"라는 안전성 질문에도 닿는다.
표를 읽는 법. 세 갈래는 우열의 사다리가 아니라 실패 모드의 선택지다. 재가중은 시끄럽게 실패한다(가중치 분포를 보면 위험이 보인다). 시뮬레이션은 조용히 실패한다(외삽은 경고 없이 그럴듯한 궤적을 내놓는다). 균형화는 그 중간에서, 실패했는지 확인하기 어렵다는 고유의 문제를 갖는다. 자료의 양수성이 튼튼하면 재가중, 상태 동역학에 대한 모형 신뢰가 있으면 시뮬레이션, 고차원 이력에서 예측 성능이 우선이면 균형화가 자연스러운 출발점이다.
고전 통계 쪽에서는 두 갈래를 결합해 한쪽 모형이 틀려도 다른 쪽이 맞으면 일치성을 지키는 이중 강건(doubly robust) 추정이 표준으로 자리 잡았고, 시변 처치 버전(TMLE 계열)도 활발하다. 신경망 시변 모형에서 이중 강건성을 체계화하는 일은 아직 열려 있는 연구 지형에 가깝다. 세 갈래를 별개 도구가 아니라 결합 가능한 부품으로 보는 눈이 다음 단계다.
출처 Melnychuk, Frauen & Feuerriegel, "Causal Transformer for Estimating Counterfactual Outcomes", ICML, 2022, arxiv.org/abs/2204.07258
시변 교란 실험실
소박 비교는 교란(b·c)에 무너지고, 층화는 되먹임(a)에 무너진다. g-formula만 어떤 조합에서도 참값을 재현한다.
넣어도 틀리고 빼도 틀리는 것을 숫자로 본다
한 줄 목표: 같은 데이터에서 세 추정량 — ① \(L\) 무조정 소박 비교, ② \(L\) 조정(층화), ③ g-formula — 을 동시에 계산해, ③만이 항상 참값 \(\theta_1+\theta_2=2\)를 재현하는 것을 확인한다. 난수는 없다. 모든 값은 이진 변수 16개 조합의 결합확률을 닫힌 형태로 전부 더한 결과다.
모형은 §1의 DAG를 그대로 숫자로 옮긴 것이다. \(U \sim \mathrm{Bern}(0.5)\)는 숨은 중증도, \(A_1 \sim \mathrm{Bern}(0.5)\)는 외생적 1기 투약, \(L\in\{0,1\}\)은 상태(1 = 수치 양호), \(A_2\)는 상태를 보고 정해지는 2기 투약, \(Y\)는 결과다.
- 상태: \(P(L{=}1 \mid A_1, U) = 0.5 + a\,A_1 - b\,U\) — \(a\)는 치료→상태 되먹임, \(b\)는 중증도→상태.
- 2기 정책: \(P(A_2{=}1 \mid L) = 0.2 + 0.6\,(1-L)\) — 상태가 나쁘면(\(L{=}0\)) 투약 확률 0.8, 좋으면 0.2.
- 결과: \(\mathbb{E}[Y \mid A_1, A_2, U] = \theta_1 A_1 + \theta_2 A_2 - c\,U\), \(\theta_1{=}\theta_2{=}1\) 고정, \(c\)는 중증도→결과.
- 참값: "항상 투약(\(A_1{=}A_2{=}1\)) vs 무투약" 전략 비교. \(U\)는 전략과 무관하게 평균 0.5로 소거되므로 정확히 \(\theta_1+\theta_2 = 2\)다.
세 추정량 비교기
막대는 세 추정량, 점선은 참값 2.0이다. 슬라이더는 화살표의 세기다. \(a\): \(A_1\!\to\!L\), \(b\): \(U\!\to\!L\), \(c\): \(U\!\to\!Y\).
조작 안내 — ① \(b\)와 \(c\)를 0으로 만든 뒤(교란 차단) 하나씩 키워 보라: 소박 비교가 먼저 어긋난다. ② \(b, c\)를 키워 둔 상태에서 \(a\)를 0으로 내려 보라: 층화 추정이 참값으로 복귀한다. ③ \(a\)를 다시 키워 보라: 층화가 어긋나기 시작한다. 어떤 조합에서도 g-formula 막대만은 점선 위에 남는다.
관찰 포인트 — 소박 비교의 편향은 \(b \times c\)(교란 경로의 두 화살표)가 모두 켜져야 나타나고, 층화의 편향은 거기에 \(a\)(되먹임)까지 켜져야 나타난다. 층화가 어긋나는 것이 §1의 충돌부 편향이 열리는 순간이다: \(L\)로 층을 나누는 것 자체가 \(A_1\)과 \(U\)의 가짜 상관을 만든다. g-formula는 \(L\)을 조건화하지 않고 \(P(L \mid A_1)\)로 전개하기 때문에 이 함정을 통째로 우회한다. "조건화 대신 시뮬레이션"이 왜 필요한지가 이 세 막대의 차이다.
모형 단순화 가정 — 이 실험실은 \(U\!\to\!A\) 직접 화살표가 없고(순차적 교환가능성 성립), 모든 확률이 0과 1 사이에 있으며(양수성 성립), 조건부 분포를 오차 없이 알고 있다고 가정한 무한 표본의 세계다. 즉 여기서 보이는 어긋남은 표본 오차가 아니라 순수한 식별 편향이고, 실제 분석에는 여기에 추정 오차·모형 오설정이 얹힌다.
기본값(\(a{=}0.2, b{=}0.3, c{=}2\))에서 손으로 검산해 볼 수 있는 값들: 소박 비교는 약 1.589, 층화는 약 1.873, g-formula는 정확히 2.000이다. 소박 비교의 편향이 층화보다 큰 것은 \(L\) 조정이 교란의 큰 몫을 실제로 걷어내기 때문이다. 층화가 "많이 맞지만 끝내 틀리는" 이 패턴이 실무에서 위험한 이유는, 조정 후 추정치가 그럴듯해 보여서 남은 편향을 의심하지 않게 만들기 때문이다.
g-formula가 여기서 정확히 참값을 재현하는 것은 우연이 아니라 항등식이다. \(\sum_l P(l \mid a_1)\,\mathbb{E}[Y \mid a_1, l, a_2]\)에서 \(\mathbb{E}[Y \mid a_1, l, a_2] = \theta_1 a_1 + \theta_2 a_2 - c\,\mathbb{E}[U \mid a_1, l]\)이고, \(P(l \mid a_1)\)로 가중평균하면 \(\mathbb{E}[U \mid a_1] = 0.5\)로 되돌아간다(\(A_1 \perp U\)). 층화가 실패하는 지점(\(\mathbb{E}[U \mid a_1, l]\)이 \(a_1\)에 의존)을, 올바른 가중치가 정확히 도로 접어 없애는 구조다. 미관측 \(U\)가 있는데도 성립하는 이유는 \(U\)가 처치 결정에 직접 들어가지 않기 때문이라는 점을 다시 확인해 두자.
출처 이 실습의 구조는 Hernán & Robins, Causal Inference: What If, Part III의 2기간 예제(시변 처치 장의 도입 예제들)를 이진 모형으로 단순화한 것이다.
퀴즈와 핵심 정리
먼저 스스로 답한 뒤 펼쳐서 확인하라.
퀴즈
시변 처치 문제에서 "이력을 전부 조건부로 넣은 회귀"가 실패하는 이유를 중간 상태 \(L\)의 이중 신분으로 설명하라.
안정화 가중치는 왜 분자에 주변확률을 넣는가? 안정화가 바꾸는 것과 바꾸지 않는 것을 구분하라.
G-Net이 RMSN·CRN에 없는 산출물을 주는 지점은 어디이고, 그 능력의 대가는 무엇인가?
CRN의 적대적 균형화는 5장 CFRNet의 무엇을 어떻게 확장한 것인가? 공통의 대가는?
하나. 시변 교란은 변수 선택의 문제가 아니다. 넣어도 틀리고 빼도 틀리는 변수 앞에서 "통제는 많을수록 좋다"는 직관은 무너지며, 필요한 것은 조건화를 대체하는 다른 연산이다.
둘. 질문의 단위는 개별 처치가 아니라 전략이다. "이번 달 투약의 계수"가 아니라 "계속 투약 vs 즉시 중단"이라는 규칙 간 비교가 임상과 정책의 실제 질문이다.
셋. 세 갈래는 유행이 아니라 대가의 교환이다. 재가중은 분산으로, 균형화는 정보 손실로, 시뮬레이션은 오차의 복리 누적으로 값을 치른다. 방법 선택은 곧 실패 모드 선택이다.
참고문헌
연도는 출간 기준. 링크는 접근을 확인한 것만 남겼다.
고전: g-methods
- Robins, J. (1986). A New Approach to Causal Inference in Mortality Studies with a Sustained Exposure Period — Application to Control of the Healthy Worker Survivor Effect. Mathematical Modelling, 7, 1393–1512. g-formula의 출발점으로 알려진 논문.
- Robins, J., Hernán, M., & Brumback, B. (2000). Marginal Structural Models and Causal Inference in Epidemiology. Epidemiology, 11(5), 550–560.
- Hernán, M., & Robins, J. Causal Inference: What If. CRC Press. 시변 처치는 Part III. 무료 공개: hsph.harvard.edu/miguel-hernan/causal-inference-book
딥러닝 구현: 세 갈래와 그 이후
- Lim, B., Alaa, A., & van der Schaar, M. (2018). Forecasting Treatment Responses over Time Using Recurrent Marginal Structural Networks. NeurIPS. — 갈래 1(재가중).
- Bica, I., Alaa, A., Jordon, J., & van der Schaar, M. (2020). Estimating Counterfactual Treatment Outcomes over Time through Adversarially Balanced Representations. ICLR. arxiv.org/abs/2002.04083 — 갈래 2(균형 표현).
- Li, R., et al. (2021). G-Net: A Recurrent Network Approach to G-Computation for Counterfactual Prediction under a Dynamic Treatment Regime. ML4H (PMLR). — 갈래 3(시뮬레이션).
- Melnychuk, V., Frauen, D., & Feuerriegel, S. (2022). Causal Transformer for Estimating Counterfactual Outcomes. ICML. arxiv.org/abs/2204.07258
인용 원칙 본문 수치는 원문 기준으로 표기했다. 1차 자료 확인이 어려운 서술은 "~로 알려져 있다", 후대의 해석·정황은 본문에 그렇게 표시해 적었다. 실습의 수치는 본문에 명시한 장난감 모형에서 닫힌 형태로 계산된 값이다.
이 자료는 단일 HTML 파일로 배포되며, 수식은 MathJax, 실습은 순수 JavaScript로 구현되어 오프라인에서도 동작한다(수식 렌더링만 최초 1회 네트워크 필요). 색상 규약: 붉은색 = 처치, 청록색 = 상태·올바른 추정, 회색 점선 = 미관측·참값 기준선.