인과 구조 발견
지금까지는 화살표의 방향을 연구자가 알고 크기를 쟀다. 이 장은 그래프 자체를 데이터에서 배우려는 시도다. 관측이 도달할 수 있는 상한(마르코프 동치류)에서 출발해, PC·GES·LiNGAM의 고전적 토대, NOTEARS의 연속 최적화, DECI의 불확실성 통합, 시계열 인과 발견까지. 비순환 제약 \(h(W)\)를 직접 계산해 보는 실습이 들어 있다.
세포 수천 개에서 인과 지도를 그리다
알고리즘이 데이터에서 신호전달 경로를 복원해 냈다. 단, 그 성공의 절반은 관측이 아니라 개입 덕분이었다.
화살표의 크기가 아니라, 화살표 자체를 찾는다
2005년, 카렌 삭스(Karen Sachs)와 동료들은 사람 T세포 수천 개를 하나씩 측정했다. 세포마다 신호전달 단백질 11종의 활성도를 동시에 재는 다중 유세포분석 데이터에 베이지안 네트워크 구조 학습을 적용하자, 알고리즘은 교과서에 실린 신호전달 경로 대부분을 데이터만으로 다시 그려 냈고, 알려지지 않았던 간선 하나는 후속 실험으로 실제 확인되었다. 인과 구조 발견(causal discovery)의 대표적 성공 사례다.
그런데 이 연구의 데이터에는 결정적 장치가 있었다. 특정 단백질을 화학적으로 자극하거나 억제한 개입 조건이 여럿 포함되어 있었다는 점이다. 순수한 관측만으로는 이 정확도에 도달할 수 없었다. 왜 그런가 — 이 "왜"가 이 장의 출발점이다.
지금까지의 장들은 전부 "처치 → 결과"라는 화살표의 방향을 연구자가 알고, 그 화살표의 크기를 추정하는 문제였다. 이 장의 질문은 다르다. 유전자 발현량 100개, 거시경제지표 20개처럼 변수가 잔뜩 있을 때, 무엇이 무엇의 원인인지를 나타내는 그래프(DAG) 자체를 데이터에서 찾을 수 있는가?
이 장의 위치를 시리즈 안에서 잡아 두자. 1~7장의 방법들은 모두 그래프에 대한 지식 — 무엇이 교란요인이고 무엇이 매개변수인지 — 을 연구자가 가정으로 공급한다는 공통점이 있다. 그 가정이 틀리면 어떤 정교한 추정량도 틀린 답을 정밀하게 계산할 뿐이다. 구조 발견은 그 가정 자체를 데이터에서 조달하려는 시도이므로, 성공하면 파급이 크고 실패의 방식도 근본적이다.
삭스 연구가 자주 인용되는 이유는 결과의 화려함보다 조건의 명확함에 있다. 첫째, 단일세포 측정이라 표본이 수천 개로 컸다. 둘째, 신호전달이라는 도메인은 참그래프가 비교적 잘 알려져 있어 채점이 가능했다. 셋째, 개입 조건이 동치류의 벽을 뚫어 주었다. 셋 중 하나라도 빠진 상황 — 대부분의 사회과학·경제 데이터가 그렇다 — 에서 같은 성능을 기대하는 것은 과잉 일반화다.
생각해 볼 질문
내 연구 분야의 변수 20개를 떠올려 보자. 그중 "개입해 볼 수 있는" 변수는 몇 개인가? 개입이 전혀 불가능하다면, 이 장에서 배울 방법들의 출력물을 어떤 지위로 취급해야 하는가?
출처 Sachs, Perez, Pe'er, Lauffenburger & Nolan, "Causal Protein-Signaling Networks Derived from Multiparameter Single-Cell Data", Science 308(5721), 2005, doi:10.1126/science.1105809
먼저 한계부터 — 마르코프 동치류
관측 데이터가 말해 주는 것은 독립성 패턴까지다. 같은 패턴을 함의하는 그래프들은 원리적으로 구별되지 않는다.
사슬·역사슬·공통원인은 관측만으로 구별할 수 없다
세 변수 \(X, Y, Z\)의 그래프 세 개를 보자. 사슬 \(X \to Y \to Z\), 역사슬 \(X \leftarrow Y \leftarrow Z\), 공통원인 \(X \leftarrow Y \to Z\). 서로 완전히 다른 인과 이야기지만, 셋이 함의하는 조건부 독립성은 동일하다. 셋 모두 "\(Y\)를 알면 \(X\)와 \(Z\)가 독립"(\(X \perp Z \mid Y\))이다.
관측 데이터가 그래프에 대해 알려 주는 정보는 결국 이런 독립성 패턴이 전부다. 따라서 이 셋은 아무리 표본을 키우고 아무리 좋은 검정을 써도 관측만으로는 구별할 수 없다. 같은 독립성을 함의하는 그래프들의 집합을 마르코프 동치류(Markov equivalence class)라 부르며, 관측 데이터로 도달 가능한 상한이 바로 여기까지다.
유일한 예외가 충돌부(collider) \(X \to Y \leftarrow Z\)다. 이 구조에서만 독립성 패턴이 뒤집힌다. \(X\)와 \(Z\)는 원래 독립인데, \(Y\)를 조건부로 하면 오히려 종속이 열린다. 이 뒤집힌 지문 덕분에 충돌부만은 데이터에서 방향까지 식별된다.
충돌부에서 조건화가 종속을 "여는" 직관은 이렇다. \(X \to Y \leftarrow Z\)에서 \(Y\)는 두 원인의 합작품이다. \(Y\)의 값을 알고 나면, \(X\)가 컸다는 정보는 "\(Z\)는 크지 않아도 이 \(Y\)가 설명된다"는 정보가 된다. 한 원인에 대한 지식이 다른 원인에 대한 지식을 깎아내리는(explaining away) 구조이며, 그래서 조건부 상관은 대체로 음(−)의 방향으로 열린다. 5장(시변 처치)에서 본 충돌부 편향과 정확히 같은 메커니즘이다.
동치류라는 상한을 수학적으로 정리한 결과가 "두 DAG가 마르코프 동치일 필요충분조건은 골격(skeleton)과 v-구조(충돌부 패턴)가 같은 것"이라는 정리다(Verma & Pearl). 그래서 관측 기반 알고리즘의 정직한 출력물은 DAG 하나가 아니라, 방향이 확정된 간선과 미확정 간선이 섞인 CPDAG(동치류의 대표 그래프)다. 논문 그림에서 무방향 간선이 남아 있는 것은 알고리즘의 실패가 아니라 관측 데이터의 정직한 한계 표시다.
출처 Spirtes, Glymour & Scheines, Causation, Prediction, and Search (2nd ed.), MIT Press, 2000 · Pearl, Causality (2nd ed.), Cambridge UP, 2009, 1~2장.
합격자만 보면 재능과 노력이 음의 상관
충돌부 조건화는 알고리즘의 소재이기 이전에 일상적 착시의 원인이다. 재능과 노력이 서로 독립인데 둘 다 합격에 영향을 준다고 하자: 재능 → 합격 ← 노력.
합격자 집단만 들여다보는 것은 충돌부인 "합격"을 조건화하는 것과 같다. 합격자 중 재능이 유난히 높은 사람은 노력이 평범해도 붙었을 것이고, 재능이 평범한 사람은 노력이 커야 붙었을 것이다. 그 결과 합격자 안에서는 재능과 노력이 음의 상관으로 관측된다. 모집단에서는 아무 상관이 없는데도 그렇다. "잘생긴 배우는 연기를 못한다", "명문대생은 의외로 성실하지 않다" 같은 인상들이 이 구조로 생길 수 있다 — 캐스팅과 입시가 두 특성의 합으로 결정되는 충돌부이기 때문이다.
구조 발견의 관점에서 이 사례가 중요한 이유는 두 가지다. 첫째, 조건부 독립성 검정이 그래프의 지문을 읽는 유효한 도구라는 것(충돌부만 지문이 다르므로). 둘째, 표본 선택 자체가 암묵적 조건화라는 것. 선택된 표본으로 구조 발견을 돌리면 존재하지 않는 간선이 검출된다.
"빅데이터와 좋은 알고리즘만 있으면 인과 그래프는 결국 찾아진다." — 아니다. 표본 크기는 독립성 검정의 정밀도를 올릴 뿐이고, 알고리즘은 그 검정 결과를 그래프로 조립하는 규칙일 뿐이다. 그런데 그림 1이 보여 주듯 사슬·역사슬·공통원인은 함의하는 독립성 자체가 동일하다. 무한 표본과 완벽한 검정을 가정해도 도달점은 동치류이지 참 DAG가 아니다. 이것은 계산의 한계가 아니라 관측이라는 데이터 종류의 정보 이론적 상한이다. 동치류 안에서 방향을 더 확정하려면 데이터 바깥의 것 — 함수형태·잡음분포 가정(§2의 LiNGAM), 시간 순서(§5), 또는 개입 실험 — 이 반드시 추가로 필요하다.
이 오해가 생기는 경위는 이해할 만하다. 예측 문제에서는 실제로 데이터가 많을수록 성능이 단조롭게 올라가는 경험을 하기 때문에, 인과 방향도 "데이터가 부족해서 못 찾는 것"으로 유추하게 된다. 그러나 예측은 관측 분포 \(P(X_1,\dots,X_d)\)의 함수를 배우는 문제이고, 인과 방향은 같은 관측 분포를 만들어 내는 서로 다른 메커니즘들을 구별하는 문제다. 분포가 같으면 분포의 어떤 함수도 같으므로, 분포에 대한 데이터가 아무리 늘어도 구별에 도움이 되지 않는다.
거꾸로 말하면, 개입 데이터가 강력한 이유도 여기서 나온다. \(X\)에 개입하면 사슬에서는 \(Z\)가 움직이고 역사슬·공통원인에서는 움직이지 않는다. 개입은 관측 분포가 아니라 메커니즘을 직접 건드리므로 동치류의 벽을 통과한다. 도입의 삭스 연구가 개입 조건 덕을 본 것이 바로 이 지점이다.
출처 Elwert & Winship, "Endogenous Selection Bias: The Problem of Conditioning on a Collider Variable", Annual Review of Sociology 40, 2014 · Pearl, Causality, 2009.
고전적 토대 — 세 가지 전략
지우기(제약 기반), 점수 매기기(점수 기반), 잡음의 지문 읽기(함수형). 이후의 모든 방법은 이 셋의 후손이다.
PC 알고리즘: 완전 그래프에서 지워 나간다
PC 알고리즘(Peter Spirtes와 Clark Glymour의 이름을 딴 이름이다)은 "직접 연결이 아니라면 어떤 조건 집합이 둘을 독립으로 만든다"는 원리 하나로 그래프를 깎아 낸다.
- 간선 삭제. 모든 변수가 연결된 완전 무방향 그래프에서 출발한다. 각 쌍 \((X,Z)\)에 대해, 어떤 변수 집합 \(S\)를 조건부로 \(X \perp Z \mid S\)가 성립하면 간선을 지운다. 조건 집합의 크기를 0부터 하나씩 키우며 반복하고, 독립을 만들어 준 집합 \(S\)를 분리집합(sepset)으로 기록해 둔다.
- 충돌부 방향 매기기. 남은 골격에서 \(X - Y - Z\)이고 \(X, Z\)는 직접 연결이 아닌 삼각 패턴을 찾는다. 기록해 둔 분리집합에 \(Y\)가 없다면, \(Y\)를 조건화해야 종속이 열렸다는 뜻이므로 충돌부 \(X \to Y \leftarrow Z\)로 방향을 확정한다.
- 전파 규칙. "새 충돌부를 만들지 않는다", "순환을 만들지 않는다"는 제약과 논리적으로 모순되지 않는 한도에서 나머지 간선의 방향을 전파한다(Meek 규칙).
- 동치류 출력. 끝까지 방향이 정해지지 않은 간선은 무방향으로 남긴다. 출력물은 DAG가 아니라 CPDAG — §1에서 본 관측의 상한을 알고리즘이 정확히 존중하는 셈이다.
확장판 FCI는 여기에 한 겹을 더한다. PC는 "관측되지 않은 공통 원인은 없다"(인과 충분성)를 가정하는데, FCI는 이 가정을 버리고 숨은 교란요인의 존재 가능성까지 허용한 출력(PAG)을 낸다. 대가는 더 약한 결론이다 — "이 간선은 직접 인과이거나, 숨은 공통 원인의 흔적"처럼 유보가 붙은 화살표가 늘어난다.
PC의 약점은 구조가 아니라 검정의 오류 전파다. 유한 표본에서 조건부 독립성 검정은 반드시 틀리고, 초기에 잘못 지운(또는 남긴) 간선 하나가 이후의 충돌부 판정과 방향 전파를 연쇄적으로 오염시킨다. 검정 횟수가 수천 번이므로 다중검정 문제도 심각하다. 또 원래 알고리즘은 변수를 처리하는 순서에 따라 결과가 달라지는 순서 의존성이 있어, 이를 제거한 안정화 버전(PC-stable)이 실무 표준이다.
조건부 독립성 검정 자체도 만만치 않다. 가우시안·선형이면 편상관 검정으로 충분하지만, 비선형·비정규 데이터에서는 커널 기반 검정(KCI 등)이 필요하고 계산이 무겁다. "구조 발견의 병목은 그래프 탐색이 아니라 검정"이라는 말이 나오는 이유다.
출처 Spirtes, Glymour & Scheines, Causation, Prediction, and Search (2nd ed.), MIT Press, 2000 · Colombo & Maathuis, "Order-Independent Constraint-Based Causal Structure Learning", JMLR 15, 2014.
GES: 점수를 올리는 탐욕 탐색, 그리고 폭발하는 탐색 공간
점수 기반 접근은 그래프마다 "이 구조가 데이터를 얼마나 잘, 얼마나 절약적으로 설명하는가"를 하나의 숫자로 매긴다. 대표 점수가 BIC — 적합도(로그가능도)에서 간선 수에 비례하는 복잡도 벌점을 뺀 값이다.
GES(Greedy Equivalence Search)는 빈 그래프에서 출발해 전진 단계에서 점수를 가장 올리는 간선을 하나씩 추가하고, 후진 단계에서 점수를 올리는 삭제를 반복한다. 탐색 단위가 개별 DAG가 아니라 동치류라는 것이 이름의 유래이고, 표본이 무한하면 참 동치류에 도달한다는 보장도 있다.
문제는 탐색 공간의 크기다. 변수 \(d\)개 위의 DAG 개수는 \(d\)에 대해 초지수적으로 폭발한다.
| 변수 수 d | 3 | 4 | 5 | 6 | 10 |
|---|---|---|---|---|---|
| DAG 개수 | 25 | 543 | 29,281 | 3,781,503 | 약 4.2 × 10¹⁸ |
변수 10개에 이미 지구상 모든 컴퓨터로도 전수 탐색이 불가능한 규모다. 탐욕 탐색은 이 공간을 한 줄기 경로로만 훑으므로 국소 최적에 갇힐 수 있고, 그렇다고 더 넓게 탐색하면 계산이 터진다. 비순환 제약의 조합적 성격이 병목이라는 이 문제의식이 §3 NOTEARS의 배경이다.
제약 기반과 점수 기반은 겉보기엔 다르지만 깊은 곳에서 연결된다. BIC 점수의 차이는 결국 조건부 독립성의 성립 여부를 가능도 언어로 재는 것이어서, 무한 표본에서는 두 접근의 도달점이 같은 동치류다. 차이는 유한 표본에서의 행동이다. 제약 기반은 개별 검정의 이분법적 판정(독립/종속)에 오류가 실려 전파되는 반면, 점수 기반은 판정을 연속적 점수로 완충해 국소 오류에 조금 더 강건한 대신 탐욕 탐색의 경로 의존이 생긴다.
표의 수치는 라빈슨(Robinson)의 점화식으로 계산되는 유명한 수열이다. \(d=10\)에서 약 \(4.2\times10^{18}\)개 — 셈해 보는 것 자체가 "탐색으로는 안 된다"는 결론을 몸에 새겨 준다.
출처 Chickering, "Optimal Structure Identification with Greedy Search", JMLR 3, 2002 · Robinson, "Counting Unlabeled Acyclic Digraphs", 1977 (DAG 개수 점화식).
LiNGAM: 잡음의 비정규성이 방향의 지문이다
동치류 안에서도 방향을 결정하는 세 번째 길이 있다. 데이터 생성 과정에 선형 관계 + 비가우시안 잡음이라는 가정을 추가하는 것이다. 이 두 가정 아래에서는 그래프가 동치류가 아니라 유일하게 식별된다.
직관은 회귀 잔차의 비대칭에 있다. 참방향이 \(X \to Y\), 즉 \(Y = bX + e\) (\(e \perp X\), \(e\)는 비가우시안)라 하자.
- 바른 방향: \(Y\)를 \(X\)에 회귀하면 잔차가 곧 \(e\)이고, 가정대로 \(X\)와 독립이다.
- 거꾸로 방향: \(X\)를 \(Y\)에 회귀하면 잔차는 \(X\)와 \(e\)가 뒤섞인 양이 되어, 상관은 0이지만 회귀변수 \(Y\)와 미묘하게 종속이 남는다(고차 모멘트에 흔적이 남는다).
- 판정: 양방향 모두 회귀해 보고 "잔차가 회귀변수와 독립인 쪽"을 원인 방향으로 택한다. 잔차 독립성의 비대칭이 방향의 지문이다.
왜 하필 비가우시안이어야 하는가. 결합 가우시안 세계에서는 "상관 0 = 독립"이라, 거꾸로 회귀의 잔차도 회귀변수와 (상관 0이므로) 완전히 독립이 되어 버린다. 양방향이 데이터를 똑같이 잘 설명하므로 비대칭이 소멸한다. 가우시안은 회전에 대해 대칭인 유일한 분포이고, 그 대칭성이 방향 정보를 지워 버리는 것이다. 잡음이 조금이라도 비뚤어져 있으면(치우침, 두꺼운 꼬리) 그 비뚤어짐이 한쪽 방향에서만 깨끗하게 분리된다.
LiNGAM의 원논문은 이 문제를 독립성분분석(ICA)으로 푼다. 선형 SEM \(x = Bx + e\)를 정리하면 \(x = (I-B)^{-1}e\), 즉 관측은 독립 비가우시안 성분들의 선형 혼합이고, ICA의 식별 정리(비가우시안 성분의 혼합행렬은 순서·스케일을 빼면 유일)가 곧 \(B\)의 식별로 이어진다. ICA가 작동하지 않는 유일한 경우가 가우시안 성분이라는 사실이, 위의 "가우시안이면 무너진다"와 정확히 같은 정리의 두 얼굴이다.
흥미로운 반전: 통계학이 늘 축복으로 여기던 정규성이 여기서는 저주다. 잡음이 정규분포에 가까울수록 방향 정보가 옅어진다. 실데이터의 잡음은 다행히 정규가 아닌 경우가 많고(소득, 거래량, 반응시간 등), 그래서 LiNGAM 계열(DirectLiNGAM 등)은 경제·신경과학 데이터에서 꾸준히 쓰인다. 다만 선형성 가정은 여전히 강한 제약이며, 비선형 확장(가법 잡음 모형 ANM, 후처리 비선형 PNL)이 별도로 발전했다.
출처 Shimizu, Hoyer, Hyvärinen & Kerminen, "A Linear Non-Gaussian Acyclic Model for Causal Discovery", JMLR 7, 2006, jmlr.org/papers/v7/shimizu06a.html · Hoyer 외, "Nonlinear Causal Discovery with Additive Noise Models", NeurIPS, 2008.
NOTEARS — 조합 탐색을 미분 가능하게
"순환이 없어야 한다"는 조합 제약이 매끄러운 등식 하나로 바뀌었고, DAG 학습이 경사하강법의 영토가 되었다.
행렬 지수의 대각합은 모든 길이의 순환을 센다
구조 학습의 최대 병목은 비순환 제약이 조합적이라 경사하강법을 쓸 수 없다는 점이었다. Zheng 등(2018)의 돌파구는 이 제약을 가중 인접행렬 \(W \in \mathbb{R}^{d\times d}\)에 대한 매끄러운 등식 하나로 바꾼 것이다.
\[ h(W) \;=\; \operatorname{tr}\!\big(e^{\,W \circ W}\big) - d \;=\; 0 \quad \Longleftrightarrow \quad W \text{의 그래프는 DAG} \]이 식이 순환을 감지하는 원리를 분해해 보자. 세 개의 부품이 정확히 맞물린다.
- \(\operatorname{tr}(A^k)\)는 길이 \(k\)의 닫힌 경로를 센다. \((A^k)_{ii}\)는 노드 \(i\)에서 출발해 간선 \(k\)개를 거쳐 자기 자신으로 돌아오는 경로들의 가중 합이다(행렬곱의 정의를 펼치면 \(\sum A_{i j_1}A_{j_1 j_2}\cdots A_{j_{k-1} i}\), 정확히 닫힌 보행의 열거다). 대각합은 이를 모든 출발점에 대해 합치므로, \(\operatorname{tr}(A^k) > 0\)은 "길이 \(k\)짜리 순환이 존재한다"는 신호다.
- 행렬 지수는 모든 길이를 한꺼번에 본다. \(e^{A} = \sum_{k=0}^{\infty} A^k / k!\) 이므로 \(\operatorname{tr}(e^{A}) = \sum_k \operatorname{tr}(A^k)/k!\) — 길이 1 순환(자기 고리)부터 임의 길이의 순환까지를 \(1/k!\)로 가중해 전부 합친 순환 계량기다. 순환이 하나도 없으면 \(k \ge 1\) 항이 모두 0이라 \(k=0\) 항(항등행렬)의 \(\operatorname{tr}(I) = d\)만 남고, 순환이 있으면 반드시 \(d\)보다 커진다.
- \(W \circ W\)는 음수 상쇄를 막는다. 가중치가 음수면 서로 다른 순환의 기여가 상쇄되어 순환이 있는데도 합이 0이 될 수 있다. 원소별 제곱 \(W \circ W\)는 모든 항을 비음수로 만들어, "\(h = 0\)이면 순환의 각 항이 정말로 전부 0"임을 보장한다. 절댓값이 아니라 제곱을 쓰는 이유는 미분 가능성이다.
결정적으로 \(h\)는 \(W\)에 대해 매끄럽고, 기울기도 닫힌 형태 \(\nabla h(W) = (e^{W\circ W})^{\top} \circ 2W\)로 나온다. 그래서 구조 학습이 다음의 연속 최적화 문제가 된다.
\[ \min_{W}\;\underbrace{\tfrac{1}{2n}\lVert X - XW \rVert_F^2 + \lambda \lVert W \rVert_1}_{\text{데이터 적합 + 희소성}} \quad \text{s.t.} \quad h(W) = 0 \]등식 제약은 증강 라그랑지안으로 처리한다. 벌점항 \(\frac{\rho}{2}h(W)^2 + \alpha\, h(W)\)를 목적함수에 더해 무제약 문제를 풀고, \(h\)가 충분히 줄지 않으면 \(\rho\)를 키우고 \(\alpha\)를 갱신하는 바깥 반복을 돈다. 반복이 진행될수록 해는 순환이 없는 행렬로 조여지고, 마지막에 작은 가중치를 잘라내(threshold) DAG를 얻는다. §2에서 본 초지수적 탐색이 이렇게 표준적인 연속 최적화 루틴으로 대체되었다.
\(1/k!\) 가중에는 실질적 의미가 있다. 짧은 순환일수록 계량기에 크게 잡힌다. 길이 2 순환(상호 간선)은 \(1/2!\)로, 길이 3 순환은 \(1/3!\)로 기여하므로, 최적화 과정에서 짧은 순환부터 강하게 벌점을 받아 먼저 끊긴다. 이 성질은 아래 실습에서 손으로 확인한다(2-순환의 \(h \approx 1.09\) > 3-순환의 \(h \approx 0.50\)).
계산 비용도 짚어 두자. 행렬 지수는 \(O(d^3)\)이라 변수 수천 개 규모에서는 이것 자체가 병목이 된다. 후속 연구는 \(\operatorname{tr}(e^{A})\) 대신 다항식 \(\operatorname{tr}[(I + \tfrac{1}{d}A)^d] - d\) 같은 대체 제약(DAG-GNN이 사용)이나 로그-행렬식 기반 제약(DAGMA)을 제안했다. 모두 "닫힌 경로의 가중 합이 0"이라는 같은 아이디어의 변주다.
생각해 볼 질문
\(h(W) = 0\)의 해집합(DAG들의 집합)은 볼록집합이 아니다. 서로 다른 두 DAG의 중간(볼록결합)이 순환을 가질 수 있기 때문이다. 이 비볼록성은 증강 라그랑지안 해에 어떤 함의를 갖는가 — 전역 최적이 보장되는가?
출처 Zheng, Aragam, Ravikumar & Xing, "DAGs with NO TEARS: Continuous Optimization for Structure Learning", NeurIPS, 2018, arxiv.org/abs/1803.01422
문이 열리자 쏟아진 확장, 그리고 벤치마크의 함정
"비순환 제약의 연속화"라는 문이 열리자 확장이 쏟아졌다. 선형 적합 부분을 무엇으로 바꾸는가가 갈래를 만든다.
| 방법 | 적합 모형 | 간선의 정의 |
|---|---|---|
| NOTEARS-MLP | 변수별 MLP (가법적 비선형) | 1층 가중치의 열-그룹 노름 |
| DAG-GNN | 그래프 조건 변분 오토인코더 | 디코더의 가중 인접행렬 |
| GraN-DAG | 변수별 신경망 | 입력→출력 경로 가중치 곱의 합 (야코비안 기반) |
Reisach 등(2021)은 NOTEARS 계열의 인상적인 벤치마크 성능 일부가 분산 순서라는 인공물에 기대고 있음을 보였다. 표준 시뮬레이션(선형 SEM + 가법 잡음)에서는 인과 순서를 따라 내려갈수록 변수의 주변 분산이 커지는 경향이 있어, "분산이 작은 변수 → 큰 변수"로 화살표를 긋는 정렬 회귀(sortnregress)라는 껍데기 기준선조차 좋은 성적을 낸다. 실데이터 분석의 표준 전처리인 표준화(분산 1로 정규화)를 하는 순간 이 단서가 사라지고, 여러 연속 최적화 방법의 성능이 크게 하락했다.
교훈은 두 가지다. 시뮬레이션 순위가 곧 "실제 인과 구조를 찾는 능력"은 아니라는 것, 그리고 구조 발견 논문·응용을 읽고 쓸 때 원척도 성능과 표준화 후 성능을 반드시 병행 보고해야 한다는 것. 분산 단서가 사라진 뒤에도 성능이 남는가가 진짜 시험이다.
이 경고를 NOTEARS의 부정으로 읽으면 과잉이다. NOTEARS가 푼 것은 탐색의 계산 문제이고, 그 기여는 표준화 논쟁과 무관하게 유효하다. Reisach 등이 지적한 것은 식별의 통계 문제 — 어떤 가정 아래 어떤 데이터에서 방향이 식별되는가 — 가 연속 최적화로 바뀌었다고 해서 사라지지 않는데, 벤치마크 설계가 그 사실을 가려 왔다는 점이다. §1의 상한 정리는 최적화 기술로 우회되지 않는다.
실무 지침으로 정리하면: (1) 데이터를 표준화해서도 돌려 보고 결과가 흔들리면 분산 인공물을 의심한다. (2) 여러 방법(PC, GES, LiNGAM, 연속 최적화)을 함께 돌려 교집합 간선에 가중을 둔다. (3) 출력 그래프는 확정 결론이 아니라 검증 대상 가설 목록으로 취급한다 — §5 끝의 해석 주의와 같은 결론이다.
출처 Yu, Chen, Gao & Yu, "DAG-GNN", ICML, 2019, arxiv.org/abs/1904.10098 · Lachapelle 외, "Gradient-Based Neural DAG Learning", ICLR, 2020, arxiv.org/abs/1906.02226 · Reisach, Seiler & Weichwald, "Beware of the Simulated DAG!", NeurIPS, 2021, arxiv.org/abs/2102.13647
DECI — 발견과 추정을 한 모형에서
산출물이 그래프 하나가 아니라 그래프들의 확률분포다. 구조의 불확실성이 효과 추정까지 정직하게 전파된다.
"이 간선이 존재할 확률 0.85"
기존 관행은 두 단계였다. 먼저 구조 발견으로 그래프 하나를 확정하고, 그 그래프를 참으로 간주한 채 처치효과를 추정한다. 이 관행의 맹점은 1단계의 불확실성이 2단계에서 완전히 사라진 척한다는 것이다. DECI(Deep End-to-end Causal Inference)는 두 단계를 하나의 확률 모형으로 통합한다.
- 그래프의 변분 사후분포. 인접행렬을 확률변수로 보고, 관측 데이터가 주어졌을 때의 사후분포 \(q(G)\)를 변분추론으로 학습한다(간선별 존재 확률의 곱으로 매개화하고, 사전분포에 NOTEARS의 \(h\) 벌점을 넣어 순환 그래프의 확률을 눌러 놓는다).
- 비선형 SEM의 동시 적합. 각 변수를 부모들의 신경망 함수 + 가법 잡음으로 모형화하고, 그래프 사후분포와 함수 파라미터를 하나의 ELBO로 함께 최적화한다. 가법 잡음이 비가우시안이면 LiNGAM에서 본 것과 같은 원리로 동치류 내부의 방향 정보도 함께 활용된다.
- 불확실성의 전파. 처치효과가 필요하면 사후분포에서 그래프를 여러 개 표집하고, 각 그래프의 SEM으로 개입 분포를 시뮬레이션해 평균한다. 출력은 "그래프 \(G^*\) 아래에서 ATE는 1.2"가 아니라 그래프 불확실성까지 반영된 효과의 분포다.
그 결과 가능해지는 진술의 형태가 달라진다. "이 간선이 존재할 확률 0.85", "방향이 반대일 확률 0.10을 감안하면 효과 추정치의 구간은 이만큼 넓어진다" — 발견의 출력을 하류 분석이 정직한 무게로 받아 쓰는 문법이다.
이 통합이 왜 개념적으로 중요한가. 2단계 관행에서 "그래프를 확정한다"는 것은 사후확률이 가장 높은 가설 하나에 확률 1을 몰아 주는 것과 같다. 동치류 문제 때문에 사후분포가 여러 그래프에 넓게 퍼져 있는 것이 정상인 상황에서, 이 몰아주기는 하류 추정치의 불확실성을 체계적으로 과소평가하게 만든다. DECI의 접근은 베이지안 모형 평균의 인과 버전인 셈이다.
물론 공짜가 아니다. 변분 사후분포가 실제 사후분포를 잘 근사한다는 보장은 없고, 신경망 SEM과 잡음 분포의 가정이 틀리면 사후확률 0.85라는 숫자 자체가 과신일 수 있다. 또 식별이 안 되는 방향에 대해서는 사후분포가 사전분포에 크게 좌우된다. "불확실성을 표현한다"와 "불확실성이 잘 보정되어 있다"는 다른 문제이며, 후자는 여전히 열린 연구 주제다.
출처 Geffner 외, "Deep End-to-End Causal Inference", 2022, arxiv.org/abs/2202.02195
시계열 인과 발견
시간 선행이라는 보조 정보가 방향의 절반을 공짜로 준다. 그러나 예측적 선행을 개입 인과로 읽는 순간 틀린다.
예측이 좋아지면 원인인가
시계열에는 횡단면 데이터에 없는 강력한 보조 정보가 있다. 원인은 결과보다 시간적으로 앞선다. 미래가 과거를 만들 수는 없으므로, 시차가 확인되면 화살표 방향의 후보가 절반으로 줄어든다.
그레인저(Granger, 1969)는 이를 예측의 언어로 조작화했다. "\(Z\)의 과거만으로 예측한 \(Z\)의 미래보다, \(X\)의 과거를 추가로 알 때의 예측이 더 좋아지면, \(X\)는 \(Z\)를 그레인저 인과한다." 고전적으로는 VAR 모형에서 \(X\)의 시차항 계수들이 모두 0인지에 대한 F-검정으로 구현된다.
정의를 다시 읽어 보면 이것은 예측 개선에 대한 진술이지 개입에 대한 진술이 아니다. 실패 방식은 정확히 §1의 구조에서 나온다. 숨은 공통 원인 \(C\)가 두 계열을 서로 다른 시차로 움직이면 — 계절이 아이스크림 판매를 먼저 움직이고 익사 사고를 나중에 움직이면 — 아이스크림의 과거는 익사의 미래를 실제로 더 잘 예측하게 되고, "아이스크림 → 익사"라는 그레인저 인과가 검출된다. 개입의 관점에서는 완전한 가짜 링크다. 아이스크림 판매를 금지해도 익사는 줄지 않는다.
- 측정되지 않은 교란 계열이 있으면 가짜 링크가 생긴다 — 그레인저 검정은 "모든 관련 정보를 조건화했다"는 비현실적 전제 위의 정의다.
- 표집 간격이 실제 인과 지연보다 성기면 동시점 상관으로 뭉개져 방향이 사라지거나 뒤집힌다.
- 쌍별(bivariate) 검정을 변수 여럿에 반복하면, 제3의 계열을 조건화하지 않은 간접 경로들이 전부 직접 간선처럼 검출된다.
그레인저 본인도 이 개념이 "진짜 인과"와 다르다는 점을 알고 있었고, 정의 자체는 "우주의 모든 정보를 조건화했을 때"라는 이상화된 형태로 제시했다. 실무에서 쓰는 것은 "내 VAR에 넣은 변수들만 조건화했을 때"라는 축소판이며, 둘 사이의 간극이 바로 위의 실패 사례들이다. 이름에 '인과'가 들어가 있어 생기는 혼란이 크기 때문에, 예측 인과(predictive causality)라고 고쳐 부르자는 제안도 있다.
그럼에도 시간 정보의 가치는 진짜다. 동시점 간선의 방향은 여전히 동치류 문제를 겪지만, 시차 간선(\(X_{t-1} \to Z_t\))은 방향이 자동으로 확정된다. 시계열 구조 발견 방법들은 이 공짜 방향 정보를 골격 삼아, 나머지 문제(교란, 다중검정, 자기상관)를 각자의 방식으로 처리하는 것으로 이해할 수 있다.
출처 Granger, "Investigating Causal Relations by Econometric Models and Cross-spectral Methods", Econometrica 37(3), 1969 · Runge 외, "Inferring Causation from Time Series in Earth System Sciences", Nature Communications 10, 2019.
Neural Granger와 PCMCI
고전적 VAR 검정의 두 약점 — 선형성 가정, 고차원·강자기상관에서의 검정력 붕괴 — 을 각각 겨냥한 두 갈래가 현재의 표준 도구다.
Neural Granger — 희소성이 곧 판정
Tank 등은 각 변수의 미래를 전체 변수들의 과거로 예측하는 변수별 신경망(cMLP·cLSTM)을 학습하되, 입력 변수별 1층 가중치 묶음에 그룹 희소성 벌점(그룹 라쏘)을 건다. 학습이 끝난 뒤 어떤 입력 변수의 가중치 묶음이 통째로 0이 되었는가를 읽으면, 그것이 곧 "이 변수는 저 변수를 그레인저 인과하지 않는다"는 판정이 된다. 검정 통계량 대신 정규화 경로가 판정을 내리는 구조이며, 비선형 관계에서도 작동한다는 것이 VAR 대비 핵심 강점이다. 시차별로 벌점을 계층화하면 "몇 시차까지 영향이 미치는가"도 함께 추정된다.
PCMCI — 조건 축소 후 검정
Runge 등의 PCMCI는 PC의 조건부 독립 논리를 시차 구조로 확장한 2단계 방법이다. 1단계(PC\(_1\))는 각 변수에 대해 유력한 시차 부모 후보를 반복 선별로 추려 조건 집합을 대폭 줄인다. 2단계(MCI)는 추린 부모들을 조건부로 한 순간 조건부 독립성 검정으로 각 시차 링크를 확정한다. 조건 집합을 미리 줄여 놓았기 때문에 고차원에서 검정력이 유지되고, 두 변수의 부모를 모두 조건화하는 MCI 설계 덕에 강한 자기상관 아래에서도 위양성률이 통제된다 — 기후 데이터처럼 수백 개의 강자기상관 계열을 다루기 위해 설계된 방법이다. 참조 구현은 파이썬 라이브러리 tigramite이고, 숨은 교란을 허용하는 확장(LPCMCI)도 같은 생태계에 있다.
구조 발견의 출력 그래프는 — 어느 방법이든 — 가설 생성 도구로 취급하는 것이 안전하다. 동치류의 상한(§1), 검정 오류의 전파(§2), 벤치마크 인공물(§3), 숨은 교란과 시차 문제(§5)가 전부 출력에 스며들어 있기 때문이다.
중요한 간선일수록 도메인 지식으로 먼저 걸러내고, 가능하다면 개입 실험이나 준실험 설계(1~4장의 방법들)로 재검증하라. 발견은 지도의 초안을 주고, 검증은 별도의 작업이다.
두 방법의 출력을 읽는 방식이 다르다는 점에 주의하자. Neural Granger의 출력은 정규화 강도 \(\lambda\)에 따라 달라지는 그래프의 경로(path)이고, 어느 \(\lambda\)에서 자를 것인가는 교차검증이나 안정성 선택으로 정해야 한다. PCMCI의 출력은 링크별 p-값과 효과 크기이며 위양성률의 통계적 통제가 정면 목표다. 예측 성능이 필요하면 전자를, 검정의 보수성이 필요하면 후자를 고르는 것이 실무의 대략적 분업이다.
둘 다 정상성(stationarity)에 기대고 있다는 공통 한계도 있다. 구조가 시간에 따라 변하는 경우(레짐 전환), 비정상 추세가 있는 경우에는 가짜 링크의 온상이 된다. 경제 시계열이라면 단위근·공적분 처리를 끝낸 뒤에 투입하는 것이 순서다.
출처 Tank, Covert, Foti, Shojaie & Fox, "Neural Granger Causality", IEEE TPAMI 44(8), 2021, arxiv.org/abs/1802.05842 · Runge, Nowack, Kretschmer, Flaxman & Sejdinovic, "Detecting and Quantifying Causal Associations in Large Nonlinear Time Series Datasets", Science Advances 5(11), 2019, arxiv.org/abs/1702.07007
비순환 계량기
NOTEARS의 h(W)를 직접 계산한다. 순환이 생기는 순간 계량기가 0에서 튀어 오르고, 짧은 순환일수록 크게 잡힌다.
간선을 켜고 끄며 tr(eW∘W) − d 를 읽는다
한 줄 목표: \(h(W) = \operatorname{tr}(e^{W \circ W}) - d\)가 정말로 "순환이 없을 때만 0"인 계량기이며, \(1/k!\) 가중 때문에 짧은 순환에 더 민감하다는 것을 직접 계산해 확인한다.
비순환 계량기
노드 X, Y, Z 사이의 방향 간선 6개를 체크박스로 켜고 끈다. 가중치는 전부 1이며, JS가 급수 \(\sum_{k=0}^{10} \operatorname{tr}(B^k)/k!\) (\(B = W \circ W\))로 \(h(W)\)를 계산한다. 순환에 관여하는 간선은 붉게 표시된다.
조작 안내 — ① X→Y, Y→Z, Z→X 세 개를 켜서 3-순환을 만들어 보라. ② 전부 끄고 X→Y, Y→X 두 개만 켜서 2-순환을 만들어 보라. ③ X→Y, X→Z, Y→Z처럼 방향이 한쪽으로 흐르는 간선을 몇 개를 켜든 h가 0에 머무는 것을 확인하라.
관찰 포인트 — (1) 3-순환에서 h ≈ 0.5042 (= 3(1/3! + 1/6! + 1/9!))로 0에서 튀어 오르면 첫 관찰 성공. (2) 2-순환의 h ≈ 1.0862 (= 2(cosh 1 − 1))가 3-순환보다 크다는 것 — 짧은 순환일수록 1/k! 가중이 커서 계량기가 민감하며, 최적화에서 짧은 순환이 먼저 끊기는 이유가 이것이다. (3) 순환만 없으면 간선을 아무리 늘려도(최대 3개까지 가능) h = 0.0000에서 미동도 없다 — h는 간선의 개수가 아니라 닫힌 경로만 세는 계량기다.
관찰 (2)의 수치를 손으로 따라가 보자. 2-순환(X→Y, Y→X)의 \(B\)는 \(B^2 = \mathrm{diag}(1,1,0)\), \(B^3 = B\)를 반복하므로 짝수 거듭제곱에서만 \(\operatorname{tr} = 2\)다. 따라서 \(h = 2(\tfrac{1}{2!} + \tfrac{1}{4!} + \tfrac{1}{6!} + \cdots) = 2(\cosh 1 - 1) \approx 1.0862\). 3-순환의 \(B\)는 순환 순열 행렬이라 \(B^3 = I\)이고 3의 배수 거듭제곱에서만 \(\operatorname{tr} = 3\)이므로 \(h = 3(\tfrac{1}{3!} + \tfrac{1}{6!} + \tfrac{1}{9!}) \approx 0.5042\). 급수를 \(k=10\)에서 잘라도 나머지 항이 \(10^{-7}\) 이하라 표시 자릿수에 영향이 없다.
관찰 (3)은 정확히 상삼각 행렬의 성질이다. 순환 없는 방향 간선들은 노드를 적절히 줄 세우면 \(W\)를 상삼각으로 만들 수 있고, 상삼각 행렬의 거듭제곱은 대각선이 계속 0이므로 모든 \(k \ge 1\)에서 \(\operatorname{tr}(B^k) = 0\)이다. "DAG ⇔ 어떤 순서에서 상삼각 ⇔ \(h = 0\)"이라는 세 진술의 동치를 계량기가 그대로 보여 준다.
출처 Zheng 외, "DAGs with NO TEARS", NeurIPS, 2018, arxiv.org/abs/1803.01422 — 식 (5)와 Proposition 2.
퀴즈와 핵심 정리
먼저 스스로 답한 뒤 펼쳐서 확인하라.
퀴즈
관측 데이터만으로 인과 그래프를 학습할 때 근본적으로 도달할 수 있는 한계는 무엇이며, NOTEARS는 무엇을 해결했고 무엇은 해결하지 못했는가?
재능과 노력이 모집단에서 서로 독립인데, 어느 시험의 합격자들 사이에서는 둘이 뚜렷한 음의 상관을 보인다. 이 상관은 어떤 그래프 구조에서 어떻게 생기는가? 구조 발견에 주는 함의는?
LiNGAM은 동치류 안에서도 방향을 식별한다. 그런데 잡음이 가우시안이면 이 식별이 무너진다. 왜인가?
"X가 Z를 그레인저 인과한다"는 검정 결과를 "X에 개입하면 Z가 변한다"로 읽으면 안 되는 이유를, 가짜 링크가 생기는 메커니즘 하나를 들어 설명하라.
하나. "데이터가 충분하면 인과 그래프는 찾아진다"는 믿음은 틀렸다. 관측의 상한은 마르코프 동치류이고, 이것은 계산이 아니라 정보의 한계다. 동치류를 뚫는 것은 언제나 데이터 바깥의 것 — 분포 가정, 시간 순서, 개입 — 이다.
둘. NOTEARS가 푼 것은 식별이 아니라 탐색이다. 초지수적 조합 문제를 매끄러운 제약 하나로 연속화한 것은 진짜 돌파구지만, 벤치마크의 분산 인공물 논쟁이 보여 주듯 "잘 찾는 것처럼 보이는 것"과 "식별되는 것"은 별개다.
셋. 구조 발견의 출력은 결론이 아니라 가설 목록이다. 표준화 후 성능을 병행 확인하고, 중요한 간선은 도메인 지식과 개입·준실험 설계로 재검증한다. 발견과 검증은 다른 작업이다.
참고문헌
연도는 출간 기준. 링크는 원문 확인이 가능한 것만 달았다.
고전적 토대
- Spirtes, P., Glymour, C., & Scheines, R. (2000). Causation, Prediction, and Search (2nd ed.). MIT Press. — PC·FCI와 제약 기반 접근의 원전.
- Shimizu, S., Hoyer, P., Hyvärinen, A., & Kerminen, A. (2006). A Linear Non-Gaussian Acyclic Model for Causal Discovery. JMLR, 7, 2003–2030. jmlr.org/papers/v7/shimizu06a.html
- Sachs, K., Perez, O., Pe'er, D., Lauffenburger, D., & Nolan, G. (2005). Causal Protein-Signaling Networks Derived from Multiparameter Single-Cell Data. Science, 308(5721), 523–529. — 도입의 사례. 개입 조건이 포함된 데이터였다는 점에 유의.
연속 최적화 계열
- Zheng, X., Aragam, B., Ravikumar, P., & Xing, E. (2018). DAGs with NO TEARS: Continuous Optimization for Structure Learning. NeurIPS. arxiv.org/abs/1803.01422
- Yu, Y., Chen, J., Gao, T., & Yu, M. (2019). DAG-GNN: DAG Structure Learning with Graph Neural Networks. ICML. arxiv.org/abs/1904.10098
- Lachapelle, S., Brouillard, P., Deleu, T., & Lacoste-Julien, S. (2020). Gradient-Based Neural DAG Learning. ICLR. arxiv.org/abs/1906.02226
- Geffner, T., 외. (2022). Deep End-to-End Causal Inference. arxiv.org/abs/2202.02195 — DECI.
- Reisach, A., Seiler, C., & Weichwald, S. (2021). Beware of the Simulated DAG! Causal Discovery Benchmarks May Be Easy to Game. NeurIPS. arxiv.org/abs/2102.13647 — 분산 순서 인공물 경고.
시계열과 서베이
- Tank, A., Covert, I., Foti, N., Shojaie, A., & Fox, E. (2021). Neural Granger Causality. IEEE TPAMI, 44(8). arxiv.org/abs/1802.05842
- Runge, J., Nowack, P., Kretschmer, M., Flaxman, S., & Sejdinovic, D. (2019). Detecting and Quantifying Causal Associations in Large Nonlinear Time Series Datasets. Science Advances, 5(11). arxiv.org/abs/1702.07007 — PCMCI. 구현은 tigramite.
- Vowels, M., Camgoz, N., & Bowden, R. (2022). D'ya Like DAGs? A Survey on Structure Learning and Causal Discovery. ACM Computing Surveys, 55(4). arxiv.org/abs/2103.02582 — 이 장 전체를 넓게 덮는 서베이.
인용 원칙 본문 수치(DAG 개수, h값 등)는 직접 계산 또는 원문 기준으로 표기했다. 1차 자료 확인이 어려운 서술은 "~로 알려져 있다", 후대의 해석은 "~로 읽는다/지목된다"로 구분해 적었다.
이 자료는 단일 HTML 파일로 배포되며, 수식은 MathJax, 실습은 순수 JavaScript로 구현되어 오프라인에서도 동작한다(수식 렌더링만 최초 1회 네트워크 필요). 색상 규약: 청록색 = 비순환·정상, 붉은색 = 순환·경고.