자기 데이터
워크숍

첫 셀에서 멈추는 세 가지 이유

한 학생이 연구실에서 자기 패널 데이터를 연다. 기업 300개 × 분기 40개, 열은 재무 지표 20개와 공시 텍스트 한 열. 실습 1 노트북을 열어 ① 블록에 파일 경로를 넣는다. 다음 셀에서 make_windows 가 길이 오류를 낸다.

이 데이터는 시계열이면서 표이면서 텍스트다. 어느 템플릿도 그대로 맞지 않는다. 그런데 이것이 대학원생 데이터의 보통 모습이다. 이 회차는 그 보통의 데이터를 네 템플릿 중 하나(또는 둘)에 맞게 쪼개는 절차를 다룬다. 멈추는 이유는 세 가지로 좁혀진다. 타입을 잘못 골랐거나, 입력 규격(열 이름·인덱스·단위)이 어긋났거나, 한 데이터에 두 타입이 섞여 있다.

다섯 질문

위에서부터 순서대로 답한다. 첫 "예"에서 멈추지 말고 끝까지 가서, 둘 이상 해당하면 데이터를 그 수만큼 쪼갠다.

네 노트북이 기대하는 것

# 실습 1: 월별 매출 → date, board 두 열. 결측 월을 채우고 주기를 12 로
raw = pd.read_excel('내_매출.xlsx')                                # 열: 연월, 매출액
df = (raw.assign(date=pd.to_datetime(raw['연월'], format='%Y%m'))
         .rename(columns={'매출액': 'board'})[['date', 'board']]
         .set_index('date').asfreq('MS').interpolate().reset_index())
H, L = 12, 36                                                    # 지평 12개월, 창 36개월; naive 의 7 → 12

# 실습 2: 공시 텍스트 → text, label. 라벨이 없으면 -1 로 두고 제로샷·군집 셀만 돈다
docs = pd.read_csv('공시.csv')
tr = docs.rename(columns={'본문': 'text'}).assign(label=-1)[['text', 'label']]

판별 20분 · 교체 40분 · 공유 30분

1. 판별(20분). §1 표로 자기 데이터의 회차를 정하고 한 줄로 적는다. "행 = ___, 새면 안 되는 것 = ___, 회차 = ___". 둘 이상이면 쪼개는 순서를 정한다.
2. 교체(40분). 해당 노트북을 열고 ① 을 §2 규격에 맞춘다. ② 분할 → ③ 베이스라인까지 돌린다. 막히면 오류 메시지 첫 줄과 ① 의 df.head() 를 캡처해 둔다.
3. 공유(30분). 베이스라인 표 또는 막힌 지점을 한 사람 3분씩 공유한다. 같은 오류가 반복되면 그 자리에서 규격표를 고친다.

GBDT 를 먼저, MLP 는 비교로

표 데이터의 베이스라인은 로지스틱·선형 회귀이고, 강한 기준선은 LightGBM 이다. MLP 는 범주형 임베딩을 쓰면 따라붙지만, 행 수가 수만 이하면 보통 GBDT 가 이긴다.

from sklearn.model_selection import train_test_split, GroupKFold
from sklearn.linear_model import LogisticRegression
import lightgbm as lgb
X, y = df.drop(columns=['target']), df['target']
# 분할: 행이 독립이면 무작위, 같은 기업이 여러 행이면 GroupKFold(groups=df['firm'])
Xtr, Xte, ytr, yte = train_test_split(X, y, test_size=.2, stratify=y, random_state=0)
base = LogisticRegression(max_iter=2000).fit(pd.get_dummies(Xtr), ytr)
gbdt = lgb.LGBMClassifier(n_estimators=500, learning_rate=.03).fit(Xtr, ytr, categorical_feature='auto')
# MLP 는 실습 1 의 MLP 클래스에 범주형 nn.Embedding 을 붙여 같은 분할로 비교한다
# 보고: macro-F1 / AUC, seed 5회, permutation importance 상위 10

출처 Grinsztajn, Oyallon & Varoquaux, "Why do tree-based models still outperform deep learning on typical tabular data?", NeurIPS 2022, arxiv.org/abs/2207.08815 · Shwartz-Ziv & Armon, "Tabular data: Deep learning is not all you need", Information Fusion 81, 2022, arxiv.org/abs/2106.03253

본문 한 표, 부록 한 표, 그림 한 장

체크리스트

• 행이 무엇인지 한 문장으로 적었는가
• 분할 방식이 "새면 안 되는 것"과 맞는가 (시계열=시간순, 같은 개체 다중 행=집단별)
• 정규화·토크나이저·임베딩 통계가 학습 구간에서만 계산됐는가
• 성능표 첫 행이 비딥러닝 베이스라인인가
• 모든 성능이 평균 ± 표준편차이고 seed 수가 적혀 있는가
• 절제 결과가 최소 한 행 있는가
• 텍스트·이미지 변수의 측정오차가 보고됐는가
• 군집을 썼다면 원 공간에서 했고 k 선택 근거가 있는가
• 인과 주장이 있다면 식별 가정과 반박검정이 있는가
• 부록 재현성 표와 코드 링크가 있는가