텍스트 —
임베딩·제로샷·군집

의사록 200쪽에 형광펜을 긋던 방

2019년, 경제학과 대학원의 한 연구실. 박사과정 학생 두 명이 금융통화위원회 의사록을 문단 단위로 잘라 놓고 "긴축 / 완화 / 중립" 셋 중 하나를 손으로 붙이고 있었다. 한 사람이 한 회차를 코딩하는 데 이틀이 걸렸고, 둘의 일치율을 계산해 부록에 적어야 했다. 뉴스 제목으로 정책 관심도를 재려던 옆 팀은 키워드 사전을 만들다 학기가 끝났다.

지금은 같은 일이 API 호출 한 번으로 끝난다. 이 회차에서 실제로 돌린 실험에서는 뉴스 제목 15,107건을 1,024차원 벡터로 바꾸는 데 약 8분과 무료 한도의 5%가 들었고, 대형 언어모델에 "이 제목의 주제는?"이라고 물어 라벨을 받는 데는 건당 1초가 걸렸다. 수만 건의 텍스트가 회귀식에 들어갈 수 있는 숫자 열이 되는 데 하루가 걸리지 않는다.

반전은 그 다음에 온다. 그 벡터가 무엇을 담고 있는지는 API 가 알려 주지 않는다. 같은 제목에 라벨을 붙이라고 하면 예시 일곱 개를 바꾸는 것만으로 답이 바뀌고, 라벨 없이 군집을 만들면 우리가 기대한 "7개 토픽"이 아니라 "등교 수업 · 거리두기 · 인사말" 같은 덩어리가 나온다. 텍스트를 변수로 만드는 비용은 0이 됐지만, 그 변수의 측정오차를 보고하는 일은 여전히 연구자의 몫이다. 이 회차는 그 검증 절차를 손에 익히는 시간이다.

출처 Gentzkow, Kelly & Taddy, "Text as Data", Journal of Economic Literature 57(3), 2019, aeaweb.org (doi 10.1257/jel.20181020) · Cloudflare Workers AI 요금·모델 문서, developers.cloudflare.com/workers-ai/platform/pricing

제목 한 줄과 토픽 하나

KLUE 벤치마크의 YNAT(Yonhap News Agency Topic Classification)은 연합뉴스 제목에 7개 토픽 중 하나를 붙인 공개 데이터다. 제목은 평균 27자, 라벨은 IT과학 · 경제 · 사회 · 생활문화 · 세계 · 스포츠 · 정치 순서(0~6)다.

두 가지를 미리 적어 둔다. 첫째, val 은 사회 기사가 41%라 정확도(accuracy)는 사회 클래스 하나에 끌려간다. 그래서 이 회차의 주 지표는 클래스별 F1 의 단순 평균인 macro-F1이다. 둘째, val 의 절반이 2020년 기사인데 train 에는 2020년이 없다. 코로나 시기의 어휘("거리두기", "등교")는 학습 데이터에 없는 셈이고, 이 시기 차이는 §5 군집에서 그대로 드러난다.

import pandas as pd, numpy as np
U = "https://huggingface.co/api/datasets/klue/klue/parquet/ynat/{}/0.parquet"
tr = pd.read_parquet(U.format('train'));  va = pd.read_parquet(U.format('validation'))
LABELS = ['IT과학','경제','사회','생활문화','세계','스포츠','정치']          # ClassLabel.names 순서
print(tr.shape, va.shape); print(tr[['title','label']].head(3).to_string())
print(pd.DataFrame({'train': tr.label.value_counts(normalize=True).sort_index().round(3),
                    'val':   va.label.value_counts(normalize=True).sort_index().round(3)}).set_axis(LABELS))
# → (45678, 5) (9107, 5) … 사회: train 0.112 / val 0.406

출처 Park et al., "KLUE: Korean Language Understanding Evaluation", NeurIPS 2021 Datasets and Benchmarks, arxiv.org/abs/2105.09680 · 데이터셋 카드 huggingface.co/datasets/klue/klue (features 확인: datasets-server /info?dataset=klue/klue&config=ynat)

문자 n-gram 이 단어 n-gram 을 크게 이긴다

한 줄 목표: 딥러닝 없이 도달하는 점수를 먼저 적어 두고, 한국어 제목에서는 단어보다 문자 단위 특징이 낫다는 것을 확인한다.

실행 환경: train 45,678건 전체 학습, val 9,107건 평가. LogisticRegression(lbfgs, max_iter 3000), C 는 train 3-fold 교차검증으로 선택. 단일 실행(결정적). 2026-09-12, 로컬 CPU.

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import f1_score, accuracy_score, confusion_matrix
def tfidf_lr(xtr, ytr, xte, analyzer='char_wb', ngram=(1,3), C=10):
    vec = TfidfVectorizer(analyzer=analyzer, ngram_range=ngram, min_df=2, sublinear_tf=True, token_pattern=r'(?u)\b\w+\b')
    clf = LogisticRegression(C=C, max_iter=3000).fit(vec.fit_transform(xtr), ytr)
    return clf.predict(vec.transform(xte))
for name, kw in [('문자 1~3', dict(analyzer='char_wb', ngram=(1,3))), ('단어 1~2', dict(analyzer='word', ngram=(1,2)))]:
    p = tfidf_lr(Xtr_txt, ytr, Xva_txt, **kw)
    print(f"TF-IDF {name}: macro-F1 {f1_score(yva, p, average='macro'):.3f}  acc {accuracy_score(yva, p):.3f}")
# → 문자 n-gram 이 단어 n-gram 보다 몇 점 높다 (train 3,000 기준 0.7대 초반)

출처 scikit-learn TfidfVectorizer 문서, scikit-learn.org · Park et al. 2021 (KLUE, YNAT 기준 모델 표).

호출 함수 둘과 비용표 하나

한 줄 목표: 임베딩과 제로샷 호출을 각각 함수 하나로 감싸고, 응답에 실려 오는 neurons 를 누적해 하루 한도(10,000) 안에서 몇 건을 처리할 수 있는지 미리 계산한다.

import json, time, requests
ACC = os.environ['CLOUDFLARE_ACCOUNT_ID']; TOK = os.environ['CLOUDFLARE_API_TOKEN']
BASE = f"https://api.cloudflare.com/client/v4/accounts/{ACC}/ai/run/"
USED = {'neurons': 0.0, 'calls': 0}

def _post(model, body, retries=4):
    for k in range(retries):
        r = requests.post(BASE + model, headers={"Authorization": f"Bearer {TOK}"},
                          data=json.dumps(body, ensure_ascii=False).encode('utf-8'), timeout=120).json()
        if r.get('success'):
            USED['calls'] += 1                                   # LLM 은 usage.neurons, 임베딩은 meta.neurons
            USED['neurons'] += float(((r['result'].get('usage') or r['result'].get('meta') or {}).get('neurons') or 0))
            return r['result']
        time.sleep(3 * (k + 1))          # 속도 제한·용량 부족이면 잠시 기다렸다 재시도
    raise RuntimeError(r.get('errors'))

def report(): return f"API 호출 {USED['calls']}회, 사용 neurons {USED['neurons']:.1f} (무료 한도 10,000/일)"

def embed(texts, model="@cf/baai/bge-m3", batch=100):
    """문장 리스트 → 1024차원 벡터 리스트. 한 번에 100문장."""
    out = []
    for i in range(0, len(texts), batch):
        out.extend(_post(model, {"text": list(texts[i:i+batch])})['data'])
    return out

def zeroshot(text, labels, system, examples=None, model="@cf/meta/llama-3.3-70b-instruct-fp8-fast"):
    """라벨 목록 중 하나를 답하게 한다. examples=[(text,label),...] 를 주면 퓨샷."""
    msgs = [{"role": "system", "content": system}]
    for t, l in (examples or []): msgs += [{"role": "user", "content": t}, {"role": "assistant", "content": l}]
    msgs.append({"role": "user", "content": text})
    ans = (_post(model, {"messages": msgs, "max_tokens": 12, "temperature": 0}).get('response') or '').strip()
    hit = [(ans.find(l), l) for l in labels if l in ans]      # 답 안에 가장 먼저 나오는 라벨
    return (min(hit)[1] if hit else None), ans

이 회차 실험의 실제 사용량: 총 3,125 neurons(임베딩 479 · 제로샷 300건 1076 · 퓨샷 80건 787 · 군집 이름 7회 34 · 중단·폐기한 실행 748). 계정 실측은 Cloudflare GraphQL aiInferenceAdaptiveGroups 로 조회했다.

출처 Cloudflare Workers AI 요금, developers.cloudflare.com/workers-ai/platform/pricing · 모델 페이지 bge-m3 · llama-3.3-70b-instruct-fp8-fast · REST API workers-ai/get-started/rest-api

임베딩 위에 로지스틱 회귀만 얹는다

한 줄 목표: 1,024차원 벡터를 그대로 특징으로 쓰고, 정규화 상수 C 만 train 내부 5-fold 로 고른다. 튜닝할 것은 그것뿐이다.

t0 = time.time()
Etr = np.array(embed(Xtr_txt), dtype=np.float32)     # (3000, 1024)
Eva = np.array(embed(Xva_txt), dtype=np.float32)     # (3000, 1024)
print(Etr.shape, Eva.shape, f"{time.time()-t0:.0f}s", report())
np.save('emb_train.npy', Etr); np.save('emb_val.npy', Eva)          # 캐시: 다시 부르지 않는다

from sklearn.model_selection import StratifiedKFold, cross_val_score
best = max(((cross_val_score(LogisticRegression(C=C, max_iter=3000), Etr, ytr, cv=StratifiedKFold(5, shuffle=True, random_state=0),
                              scoring='f1_macro').mean(), C) for C in [0.3, 1, 3, 10, 30]))
C_best = best[1]; print('C(5-fold) =', C_best, f'cv macro-F1 {best[0]:.3f}')
clf = LogisticRegression(C=C_best, max_iter=3000).fit(Etr, ytr); p_emb = clf.predict(Eva)
print(f"임베딩+LR: macro-F1 {f1_score(yva, p_emb, average='macro'):.3f}  acc {accuracy_score(yva, p_emb):.3f}")
# → 같은 train 3,000 의 TF-IDF 보다 macro-F1 이 약 0.09 높다 (본 실험 0.779 vs 0.691)

출처 Chen et al., "BGE M3-Embedding: Multi-Lingual, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation", 2024, arxiv.org/abs/2402.03216

제로샷 — 라벨만 답하게 하고, 예시를 바꿔 흔들림을 잰다

한 줄 목표: 학습 데이터 0건으로 얻는 점수, 라벨 밖의 답을 하는 비율, 그리고 퓨샷 예시 7개를 다른 7개로 바꿨을 때 예측이 바뀌는 비율을 한 번에 잰다.

SYS = "다음은 한국어 뉴스 제목이다. 주제를 " + "/".join(LABELS) + " 중 정확히 하나로 분류하고, 그 라벨만 한 단어로 답하라. 설명은 쓰지 않는다."
zs_df = strat(va_s, 200)                                  # val 샘플 안에서 다시 층화 200건
zs = [zeroshot(t, LABELS, SYS) for t in zs_df.title]
pred = np.array([LABELS.index(l) if l else -1 for l, _ in zs]); y = zs_df.label.values
ok = pred >= 0
print(f"제로샷 200건: macro-F1 {f1_score(y[ok], pred[ok], average='macro'):.3f}  acc {accuracy_score(y, pred):.3f}  미매칭 {(~ok).mean():.1%}", report())
print([a for (_, a), o in zip(zs, ok) if not o][:5])     # 매칭 실패한 원문 답

# 퓨샷 A/B: 클래스당 1건씩 7개 예시를 두 세트 만들어 같은 60건에 적용 → 두 세트 간 예측 불일치 비율
def pick_examples(seed):
    rng = np.random.default_rng(seed)
    return [(tr.title.iloc[rng.choice(np.where(tr.label.values == c)[0])], LABELS[c]) for c in range(7)]
sub = zs_df.head(60)
pa = [zeroshot(t, LABELS, SYS, pick_examples(11))[0] for t in sub.title]
pb = [zeroshot(t, LABELS, SYS, pick_examples(22))[0] for t in sub.title]
print(f"퓨샷 A acc {np.mean([LABELS[l]==a for l,a in zip(sub.label, pa)]):.3f}  B acc {np.mean([LABELS[l]==b for l,b in zip(sub.label, pb)]):.3f}  A≠B {np.mean([a!=b for a,b in zip(pa,pb)]):.1%}", report())
# → 예시만 바꿔도 예측의 수 % 가 뒤집힌다. 제로샷 라벨을 변수로 쓸 때 이 값을 측정오차로 보고한다

출처 Cloudflare Workers AI, llama-3.3-70b-instruct-fp8-fast 모델 페이지(입력 스키마 messages, max_tokens, temperature), developers.cloudflare.com/workers-ai/models/llama-3.3-70b-instruct-fp8-fast

세 방법을 한 표에

같은 val 9,107건(제로샷은 그중 층화 300건)에서 잰 값이다. 임베딩과 TF-IDF 의 "5,000건" 행은 학습 표본을 seed 마다 다시 뽑아 5회 돌린 평균±표준편차다.

실행 환경: 2026-09-12. 임베딩·제로샷은 Cloudflare Workers AI(총 3,125 neurons), 분류기는 로컬 CPU scikit-learn 1.7. seed 0~4 는 train 6,000 층화 샘플에서 5,000 을 재추출. 제로샷 300건은 val 층화 추출(seed 0). 표준편차는 표본 표준편차(ddof 1).

읽는 순서는 이렇다. 라벨을 같은 양(5,000건) 쓰면 임베딩이 TF-IDF 를 macro-F1 로 약 0.07 이긴다. 라벨을 전부(45,678건) 쓴 TF-IDF 는 임베딩 6,000건보다 0.02 높다. 제로샷은 라벨 0건으로 0.72 에 닿지만, 같은 300건에서 임베딩+LR 은 0.784 이므로 라벨 6,000건이 있다면 제로샷을 쓸 이유가 없다. 결론은 "무엇이 최고인가"가 아니라 라벨이 몇 건 있는가에 따라 답이 바뀐다는 것이고, 그것을 그린 것이 다음 그림이다.

출처 이 회차 실험 결과(실습_work/out/text_baseline.json, text_emblr.json, text_analysis.json) · Park et al. 2021, Table 6(YNAT 기준 모델).

라벨이 적을수록 임베딩의 이득이 크다

학습 표본을 100건에서 6,000건까지 늘리며 두 방법을 같은 조건으로 비교했다. 각 점은 seed 5회 평균, 막대는 표준편차다.

macro-F1, val 9,107건. seed 0~4 는 train 6,000 층화 샘플에서 재추출(6,000 행은 전체라 편차 0). TF-IDF 는 각 표본에서 다시 적합(어휘도 표본에서만 만든다). C 는 임베딩 1, TF-IDF 10 고정.

출처 이 회차 실험 결과(text_curve.csv).

두 모델이 헷갈리는 자리는 같다: 사회의 경계

혼동행렬을 정답 기준 비율(%)로 놓고 보면, 임베딩+LR 과 제로샷 모두 "사회" 행에서 흘러나간다. 다만 흘러가는 방향이 다르다.

오분류 제목을 읽어 보면 오류의 성격이 보인다. "세종 경로당·어린이집 2주간 휴원"이 사회인지 생활문화인지, "삼성디스플레이 정기 임원 인사"가 사회인지 경제인지는 라벨 기준을 모르면 사람도 갈린다. 이런 쌍의 오류는 모델을 바꿔도 사라지지 않으며, 논문에서는 라벨 정의의 경계로 보고하는 것이 맞다. 반면 제로샷이 "보훈문화상 업무협약식"을 정치로 보낸 것은 모델의 사전 지식이 데이터의 기준과 다른 경우이고, 이것은 퓨샷 예시나 라벨 설명문으로 줄일 수 있는 오류다.

예시 세트만 바꿨을 때 40건 중 2건의 예측이 달라졌다(「임금·퇴직금 제때 안 준 의료법인 이사장…」 A=경제 / B=사회; 「유은혜·정은경 정례회의…학교에 식중독 예…」 A=정치 / B=사회). 표본이 40건이라 불일치율의 표준오차는 약 3.5%p 다. 예산상 건수를 150에서 40으로 줄였다.

출처 이 회차 실험 결과(text_analysis.json, text_fewshot.json).

UMAP 2차원 지도에 정답을 칠하면

val 9,107건의 1,024차원 임베딩을 UMAP(n_neighbors 15, min_dist 0.1)으로 2차원에 펼쳤다. 색은 정답 토픽이다. 스포츠·IT과학·경제는 덩어리를 이루고, 사회는 지도 한가운데를 넓게 덮는다.

출처 McInnes, Healy & Melville, "UMAP: Uniform Manifold Approximation and Projection for Dimension Reduction", 2018, arxiv.org/abs/1802.03426 · umap-learn 문서 umap-learn.readthedocs.io

지도 위에서 색 기준을 바꿔 보기

한 줄 목표: 같은 점을 정답 / K-means 군집 / 제로샷 정답 여부로 번갈아 칠하며, 군집이 토픽과 어긋나는 자리와 제로샷이 틀리는 자리가 어디인지 눈으로 찾는다.

K-means 가 찾은 것은 토픽이 아니라 2020년이었다

1,024차원에서 K-means(k=7)를 돌리고, 군집마다 중심에 가장 가까운 제목 5개를 llama-3.3-70b 에 주어 한 줄 이름을 받았다. 정답 토픽과의 일치는 ARI 0.194 ± 0.002, NMI 0.306 다.

K-means(k=7, n_init 10, seed 0), 1,024차원 원 임베딩. 순도 = 군집 안에서 최다 정답 라벨의 비율. LLM 이름은 대표 제목 5개만 보고 붙인 것이라 군집 전체보다 좁게 나온다. 이름 붙이기 7회 호출 34 neurons.

출처 이 회차 실험 결과(text_cluster.json, text_cluster_names.json).

seed 를 바꿔도 K-means 는 같은 답을 낸다. HDBSCAN 은 답을 내지 않는다

군집을 논문에 쓰려면 "다시 돌려도 같은가"를 보여야 한다. K-means 는 seed 5회에서 ARI 0.194 ± 0.002 로 안정적이고, seed 간 군집 일치도(ARI)도 0.91~0.98 다.

ARI·NMI 는 val 9,107건 정답 토픽 대비. K-means 행은 seed 5회 평균±표준편차. HDBSCAN 은 결정적(단일 실행). 2026-09-12, 로컬 CPU(UMAP 29초, HDBSCAN 4초).

HDBSCAN 이 1,024차원에서 군집을 하나도 만들지 못한 것은 이 회차의 negative result 다. 임베딩 공간에서는 점 사이의 거리가 고르게 분포해(고차원의 거리 집중), 밀도가 특별히 높은 영역을 찾는 HDBSCAN 이 모든 점을 잡음으로 분류한다. min_samples 를 낮추면 군집 2개가 나오지만 85% 이상이 잡음이다. 관행처럼 쓰이는 "UMAP 으로 줄인 뒤 HDBSCAN"은 군집 6개를 찾지만, 그것은 UMAP 이 만든 2차원 밀도를 본 것이지 원 공간의 밀도가 아니다. 논문에 쓴다면 "군집은 원 공간 K-means, HDBSCAN 은 축소 공간에서만 성립"이라고 조건을 밝혀야 한다.

출처 Campello, Moulavi & Sander, "Density-Based Clustering Based on Hierarchical Density Estimates", PAKDD 2013, doi.org/10.1007/978-3-642-37456-2_14 · McInnes, Healy & Astels, "hdbscan: Hierarchical density based clustering", JOSS 2(11), 2017, doi.org/10.21105/joss.00205 · Hubert & Arabie, "Comparing partitions", Journal of Classification 2, 1985 (ARI).

성능표는 이렇게 쓴다

본문에는 방법·학습 라벨 수·지표·반복 횟수만 둔다. 하이퍼파라미터와 모델 ID 는 부록으로 보낸다. 아래는 이 회차 숫자로 만든 예시다.

주: 평균 ± 표준편차는 학습 표본 재추출 5회. ^a 층화 추출 300건, 라벨 밖 응답 2.3% 은 오답 처리 시 macro-F1 0.713. 퓨샷 예시 교체 시 예측 불일치 5.0% (n = 40).

재현성 표: 남이 다시 돌릴 수 있게

API 모델은 조용히 바뀐다. 모델 ID·호출 날짜·차원·seed·튜닝 범위를 적어 두지 않으면 6개월 뒤 같은 숫자가 나오지 않는다.

텍스트를 변수로 만들어 패널 회귀에 넣는 절차

공시·뉴스·리뷰를 "토픽 비율"이나 "감성 점수"로 바꿔 회귀에 넣는 연구의 표준 절차다. 핵심은 마지막 단계, 측정오차를 어떻게 다루는가다.

1. 단위 정하기. 회귀의 관측 단위(기업×연도, 지역×월)를 먼저 정하고, 텍스트를 그 단위로 묶는다. 기사 1건이 아니라 "기업 i 의 t 년 기사 전체"가 한 관측이다.
2. 문서 단위 라벨. 문서마다 (a) 임베딩+LR 의 예측 확률, (b) 제로샷 라벨, (c) 군집 번호 중 하나를 붙인다. 정답 표본 수백 건으로 (a)의 F1 을 재고, (b)는 예시 교체 불일치율을, (c)는 seed 간 ARI 를 기록한다.
3. 집계. 단위별로 라벨의 비율(토픽 비율), 확률의 평균(감성 점수), 군집 더미의 비율을 만든다. 이것이 회귀의 설명변수 \(\hat{x}_{it}\) 다.
4. 회귀. \(y_{it} = \beta\,\hat{x}_{it} + \gamma' z_{it} + \alpha_i + \lambda_t + \varepsilon_{it}\). 단위·시점 고정효과를 넣고, 표준오차는 단위에서 클러스터링한다.
5. 측정오차 보고. \(\hat{x}\) 는 참값 \(x\) 를 오차 있게 잰 것이다. 고전적 측정오차라면 \(\hat\beta\) 는 0 쪽으로 축소된다(attenuation). 2단계에서 잰 F1·불일치율로 오차의 크기를 보고하고, 가능하면 (i) 정답 표본에서 오차 분산을 추정해 보정하거나, (ii) 다른 모델(TF-IDF vs 임베딩)로 만든 \(\hat{x}\) 를 도구변수처럼 써서 \(\beta\) 의 견고성을 보인다.

출처 Gentzkow, Kelly & Taddy 2019, §4 (텍스트 변수의 회귀 투입과 측정오차) · Wooldridge, Econometric Analysis of Cross Section and Panel Data, 2nd ed., MIT Press, 2010, 4.4절(측정오차).

분류용 표현 ≠ 교란 조정용 표현

이 회차의 임베딩은 토픽을 맞추도록 평가됐다. 인과추론에서 텍스트가 교란변수일 때 필요한 것은 다른 성질이다.

인과추론 9장 §2(텍스트가 교란일 때)의 논리를 이 회차의 언어로 옮기면 이렇다. 처치 \(D\)(예: 기업의 공시 어조)와 결과 \(Y\)(주가 반응) 사이에 텍스트 \(X\)(공시 내용)가 교란으로 놓여 있다면, 우리는 \(X\) 를 조정해야 한다. 그런데 1,024차원 벡터를 그대로 조정에 쓰면 차원이 너무 높고, 이 회차처럼 "토픽을 잘 맞추는" 저차원 표현으로 줄이면 처치와 결과에 동시에 영향을 주는 정보가 빠질 수 있다. 토픽 분류에 필요 없는 정보가 교란 조정에는 필요할 수 있기 때문이다. Veitch, Sridhar & Blei(2020)는 임베딩을 "처치 예측과 결과 예측을 동시에 잘하도록" 다시 학습해야 교란 조정에 충분한 표현이 된다는 것을 보였다. 이 회차의 파이프라인은 그 첫 단계(임베딩 확보)까지이고, 인과 질문에서는 표현을 무엇으로 평가할지가 바뀐다.

출처 Veitch, Sridhar & Blei, "Adapting Text Embeddings for Causal Inference", UAI 2020, arxiv.org/abs/1905.12741 · 이 시리즈 인과추론 9장 · 비정형 자료.

퀴즈

인용 원칙 성능 수치는 전부 이 회차에서 실제로 실행한 결과이며 스크립트(실습_work/20_text_experiment.py)와 캐시(out/)로 재현된다. API 단가는 문서의 게시 값, 사용량은 계정 실측이다. 도입부의 연구실 장면은 특정 인물·기관을 가리키지 않는 일반적 묘사다.