시계열:
예측과 역 군집

데이터 로드

일 단위 합계 파일은 이 사이트에서 직접 읽는다. 원자료 52개 파일을 합치는 스크립트는 노트북 부록에 있다.

import pandas as pd, numpy as np, holidays
URL = 'https://hufs-ai-lecture.pages.dev/practice/data/subway_daily_total.csv'
df = pd.read_csv(URL, parse_dates=['date']).sort_values('date').reset_index(drop=True)
y   = df.board.values / 1e6                       # 백만 명 단위
kr  = holidays.KR(years=range(2015, 2027))
hol = np.array([d in kr for d in df.date.dt.date]).astype(float)
dow = df.date.dt.dayofweek.values
print(df.shape, df.date.min().date(), df.date.max().date())
# → (4261, 4) 2015-01-01 2026-08-31

조작 안내 — 노트북 ① 셀을 실행하고 df.board.describe() 로 최솟값이 어느 날인지 찾아보라.
관찰 포인트 — 최솟값(158만 명)은 2021년 1월 1일, 코로나 한복판의 공휴일이다. 코로나 기간 안에서도 가장 낮은 날은 공휴일이다. 공휴일 특징이 왜 필요한지가 여기서 이미 보인다.

윈도우 만들기

origin o 에서 입력은 직전 56일, 정답은 이후 28일, 공변량은 그 28일의 요일·공휴일이다.

H, L = 28, 56                                   # 지평 28일, 입력 창 56일
folds = [('2025-03-01','2025-08-31'), ('2025-09-01','2026-02-28'), ('2026-03-01','2026-08-31')]
idx = lambda d: int(np.searchsorted(df.date.values, np.datetime64(d)))
def cal_feats(t):                               # 요일 원핫 7 + 공휴일 1
    f = np.zeros((len(t), 8)); f[np.arange(len(t)), dow[t]] = 1; f[:, 7] = hol[t]; return f
def make_windows(start, end):                   # 학습용: 모든 origin
    X, Y, C, O = [], [], [], []
    for o in range(max(start, L), end - H + 1):
        X.append(y[o-L:o]); Y.append(y[o:o+H]); C.append(cal_feats(np.arange(o, o+H)).ravel()); O.append(o)
    return np.array(X), np.array(Y), np.array(C), np.array(O)
def test_set(s, e):                             # 평가용: 28일 간격 비중첩 origin
    Ote = np.arange(s, e - H + 1, H)
    return (np.array([y[o-L:o] for o in Ote]), np.array([y[o:o+H] for o in Ote]),
            np.array([cal_feats(np.arange(o, o+H)).ravel() for o in Ote]), Ote)

조작 안내 — make_windows(0, idx('2025-03-01')) 의 X 행 수를 세어 보라.
관찰 포인트 — 학습 윈도우는 서로 55일씩 겹친다. 그래서 학습 표본 수(약 3,600)는 독립 표본 수가 아니다. 조기종료용 검증도 무작위가 아니라 학습구간 끝 10% 를 떼야 한다.

시간순 분할·계절 naive 뷰어

파란 띠가 입력 56일, 붉은 띠가 예측 28일이다. 회색 점선은 "7일 전 값 반복" 예측, 붉은 세로 점선은 공휴일.

조작 안내 — ① "공휴일 없음"(2025-10-27)을 눌러 naive MAE 를 보라. ② "추석 주간"(2025-09-29)으로 옮겨라. ③ 슬라이더로 아무 날이나 골라 붉은 점선이 지평 안에 있을 때와 없을 때를 비교하라.
관찰 포인트 — 공휴일 없는 4주는 MAE 0.1 안팎, 추석이 든 4주는 1.1 을 넘는다(10배). naive 가 무너지는 이유는 "패턴을 못 배워서"가 아니라 달력을 모르기 때문이다. 이것이 §4 절제 실험의 예고다.

모델 정의

class MLP(nn.Module):
    def __init__(s, i=L+H*8, h=256): super().__init__(); s.n = nn.Sequential(
        nn.Linear(i,h), nn.ReLU(), nn.Dropout(.1), nn.Linear(h,h), nn.ReLU(), nn.Linear(h,H))
    def forward(s, x, c, cin=None): return s.n(torch.cat([x, c], 1))
class GRUm(nn.Module):
    def __init__(s, h=64): super().__init__(); s.g = nn.GRU(1+8, h, num_layers=2, batch_first=True, dropout=.1); s.o = nn.Linear(h+H*8, H)
    def forward(s, x, c, cin): _, hN = s.g(torch.cat([x.unsqueeze(-1), cin], -1)); return s.o(torch.cat([hN[-1], c], 1))
class DLinear(nn.Module):                        # 추세(이동평균)와 잔차를 각각 선형으로
    def __init__(s, k=7): super().__init__(); s.k = k; s.lt = nn.Linear(L,H); s.ls = nn.Linear(L,H); s.lc = nn.Linear(H*8,H)
    def forward(s, x, c, cin=None):
        pad = torch.cat([x[:,:1].repeat(1,s.k//2), x, x[:,-1:].repeat(1,s.k//2)], 1)
        tr  = pad.unfold(1, s.k, 1).mean(-1)
        return s.lt(tr) + s.ls(x - tr) + s.lc(c)

조작 안내 — sum(p.numel() for p in m.parameters()) 로 세 모델의 파라미터 수를 세어 표와 맞춰 보라.
관찰 포인트 — 파라미터가 14배 차이 나는 MLP 와 DLinear 의 성능 차이가 §4 에서 seed 표준편차 안에 들어온다. 이 데이터에서는 용량이 병목이 아니다.

fit_predict

def fit_predict(name, Xtr, Ytr, Ctr, Otr, Xte, Cte, Ote, seed, use_cal=True):
    torch.manual_seed(seed); np.random.seed(seed)
    mu, sd = Xtr.mean(), Xtr.std()                    # ① 정규화 통계는 학습 창에서만
    T = lambda a: torch.tensor(a, dtype=torch.float32, device=dev)
    xt, yt, ct = T((Xtr-mu)/sd), T((Ytr-mu)/sd), T(Ctr if use_cal else 0*Ctr)
    xe, ce     = T((Xte-mu)/sd), T(Cte if use_cal else 0*Cte)
    cin_tr = T(np.stack([cal_feats(np.arange(o-L,o)) for o in Otr])*use_cal); cin_te = T(np.stack([cal_feats(np.arange(o-L,o)) for o in Ote])*use_cal)
    m = {'MLP':MLP,'GRU':GRUm,'DLinear':DLinear}[name]().to(dev); opt = torch.optim.AdamW(m.parameters(), lr=2e-3, weight_decay=1e-4)
    n = len(xt); nv = max(int(n*.1), H); tr, va = np.arange(n-nv), np.arange(n-nv, n)   # ② 검증 = 학습구간 끝 10%
    best = (1e9, None); wait = 0
    for ep in range(300):
        m.train(); perm = np.random.permutation(tr)
        for i in range(0, len(perm), 128):
            b = perm[i:i+128]; loss = nn.functional.l1_loss(m(xt[b], ct[b], cin_tr[b]), yt[b]); opt.zero_grad(); loss.backward(); opt.step()
        m.eval()
        with torch.no_grad(): vl = nn.functional.l1_loss(m(xt[va], ct[va], cin_tr[va]), yt[va]).item()
        if vl < best[0]-1e-4: best = (vl, {k:v.clone() for k,v in m.state_dict().items()}); wait = 0
        elif (wait := wait+1) >= 20: break                  # ③ 조기종료 — 평가 구간은 보지 않는다
    m.load_state_dict(best[1]); m.eval()
    with torch.no_grad(): return m(xe, ce, cin_te).cpu().numpy()*sd + mu

조작 안내 — ①을 y.mean(), y.std()(전체 시계열)로 바꿔 다시 돌려 보라.
관찰 포인트 — 이 데이터에서는 차이가 작다. 그러나 추세가 강한 데이터(매출·주가)에서는 전체 평균이 미래 수준을 미리 알려 주는 누수가 된다. 차이가 작아도 습관은 옳은 쪽으로 들인다.

특징 → 표준화 → K-means → UMAP

st = pd.read_parquet('https://hufs-ai-lecture.pages.dev/practice/data/subway_station_daily.parquet')
st['key'] = st.line+'·'+st.station; st['dow'] = st.date.dt.dayofweek; st['year'] = st.date.dt.year
keep = st.groupby('key').date.nunique().pipe(lambda c: c[c >= 4000].index); d = st[st.key.isin(keep)]; y19 = d[d.year==2019]
piv  = y19.pivot_table(index='key', columns='dow', values='board', aggfunc='mean')
feat = piv.div(piv.sum(1), axis=0); feat.columns = [f'dow{i}' for i in range(7)]      # 요일 분포(합 1)
g = y19.groupby('key'); feat['board_alight'] = g.board.sum()/g.alight.sum(); feat['log_size'] = np.log(g.board.mean())
ym = lambda yr: d[d.year==yr].groupby('key').board.mean()
feat['covid_drop'] = ym(2020)/ym(2019); feat['recover_24'] = ym(2024)/ym(2019); feat = feat.dropna()
X = StandardScaler().fit_transform(feat.values)                                     # 척도 통일
print({k: round(silhouette_score(X, KMeans(k, n_init=10, random_state=0).fit_predict(X)), 3) for k in range(2, 7)})
# → {2: 0.486, 3: 0.279, 4: 0.269, 5: 0.274, 6: 0.275}
km  = KMeans(3, n_init=10, random_state=0).fit(X); feat['cluster'] = km.labels_        # 군집은 원 벡터에서
red = umap.UMAP(n_neighbors=15, min_dist=0.1, random_state=0).fit_transform(X)      # 2차원은 그림에만

조작 안내 — k 를 2 로 바꿔 어느 두 군집이 합쳐지는지 보라.
관찰 포인트 — 실루엣은 k=2 가 가장 높다(0.49). 그런데 k=2 는 "주말형 vs 나머지"로만 갈라 통근형과 업무형의 차이(회복 0.93 vs 1.12)를 지운다. k 선택은 지표와 해석 가능성 사이의 판단이고, 논문에는 지표 표와 선택 이유를 함께 적는다.

역 이용 패턴 UMAP 지도

점 하나가 역 하나다. 마우스를 올리면 역 이름과 수치가 뜬다.

조작 안내 — ① "군집" 상태에서 오른쪽 위 덩어리(청록)에 마우스를 올려 어떤 역들인지 읽어라. ② "2020/2019 하락"으로 바꿔 어느 덩어리가 붉게 물드는지 보라. ③ "2024/2019 회복"에서 붉은 점이 왼쪽 아래(남색 군집)에 몰리는지 보라.
관찰 포인트 — 군집 색을 지우고 하락·회복으로 칠해도 같은 덩어리가 같은 색으로 물들면, 군집이 "요일 분포"만이 아니라 실제 행동의 차이를 잡았다는 증거다. 군집 변수를 회귀에 넣을 근거가 여기서 생긴다.