거리 기반 학습과
퓨샷

최근접 이웃을 이용한 예측

새 데이터가 들어오면, 가장 가까운 k개의 학습 데이터를 찾아 다수결로 클래스를 정한다. 유사도는 유클리드 거리, 또는 벡터 방향을 비교하는 코사인 유사도로 잰다.

군집 할당과 중심 갱신

K-means는 레이블 없이 n개 관측값을 k개 군집으로 나눈다. 예를 들어 고객의 키와 체중을 이용해 비슷한 체형의 군집을 찾을 수 있다.

1. 데이터에서 k개를 임의로 뽑아 각 클러스터의 중심(centroid)으로 삼는다.
2. 할당: 모든 데이터에 대해 k개 중심과의 거리를 재고, 가장 가까운 중심의 클러스터로 배정한다.
3. 갱신: 클러스터별 소속 데이터의 평균 위치로 중심을 다시 계산한다.
4. 소속이 더 이상 바뀌지 않을 때까지 2~3을 반복한다.

엘보우 방법과 군집 수 선택

여러 k에 대해 K-means를 실행하고 SSE를 비교한다. k를 늘려도 SSE 감소 폭이 작아지기 시작하는 지점을 후보로 고려한다.

특징과 임계값에 따른 분할

의사결정트리는 특징의 값에 따라 데이터를 반복해서 나눈다. 이 예제는 한 특징과 임계값을 사용하는 분할이며, 2차원 그림에서 좌표축과 평행한 경계로 나타난다. 분류와 회귀에 모두 사용할 수 있다.

클래스가 섞인 정도

엔트로피는 노드 안의 클래스 분포가 얼마나 불확실한지를 나타낸다. 한 클래스만 있으면 0이고, 두 클래스가 절반씩 섞여 있으면 가장 크다.

5:5, 9:1, 10:0의 엔트로피

샘플 10개를 클래스 A와 B로 나눈다. p는 A의 비율이며, B의 비율은 1 − p다. 엔트로피는 클래스를 알기 전의 불확실성이며, 알게 될 때 얻는 평균 정보량이다.

가능성이 같은 두 결과를 0과 1로 구분하는 정보량이 1비트(bit)다. 이 기준에 맞춰 밑이 2인 로그를 사용한다.

1. A 5개, B 5개$$H=-\frac{5}{10}{\log }_2\frac{5}{10}-\frac{5}{10}{\log }_2\frac{5}{10}=1\text{비트}$$
2. A 9개, B 1개$$H=-\frac{9}{10}{\log }_2\frac{9}{10}-\frac{1}{10}{\log }_2\frac{1}{10}\approx 0.469\text{비트}$$
3. A 10개, B 0개$$H=-1{\log }_{2}1=0\text{비트}$$모든 샘플의 클래스가 같다.

분할 전후 엔트로피 비교

정보이득은 질문으로 데이터를 나눈 뒤 엔트로피가 얼마나 줄었는지를 나타낸다. 자식 노드의 엔트로피는 각 노드의 샘플 수에 따라 가중평균한다.

같은 부모 노드에서 후보를 비교할 때는 분할 후 엔트로피의 가중평균이 낮을수록 정보이득이 크다.

후보 1: 빨간색인가?

사과 2개와 바나나 2개가 있다. 이 가상 데이터에서는 사과는 모두 빨간색, 바나나는 모두 노란색이다. 클래스 비율이 반반이므로 분할 전 엔트로피는 1비트다.

1. 예: 사과 2개. 한 클래스만 있으므로 엔트로피는 0이다.
2. 아니오: 바나나 2개. 이쪽도 엔트로피는 0이다.
3. 두 노드의 샘플 수는 각각 전체의 절반이다. $$\text{분할 후 엔트로피}=\frac{2}{4}\times 0+\frac{2}{4}\times 0=0\text{비트}$$

후보 2: 길이가 10cm 이상인가?

같은 과일을 길이로 나눴더니, 예 쪽에는 사과 1개와 바나나 2개, 아니오 쪽에는 사과 1개가 남았다고 하자.

1. 예: 사과 1개, 바나나 2개. $$H=-\frac{1}{3}{\log }_2\frac{1}{3}-\frac{2}{3}{\log }_2\frac{2}{3}\approx 0.918\text{비트}$$
2. 아니오: 사과 1개. 엔트로피는 0이다.
3. 샘플 수가 3개와 1개이므로 가중치도 다르다. $$\text{분할 후 엔트로피}\approx \frac{3}{4}\times 0.918+\frac{1}{4}\times 0\approx 0.689\text{비트}$$

숫자 데이터의 분할 기준 찾기

같은 네 과일의 길이를 사과 8cm·12cm, 바나나 14cm·18cm로 두자. 값을 정렬한 뒤 서로 다른 인접 값의 중간값을 분할 후보로 삼을 수 있다.

1. 10cm: 사과 1개 / 사과 1개·바나나 2개. 정보이득 ≈ 0.311비트.
2. 13cm: 사과 2개 / 바나나 2개. 정보이득 = 1비트.
3. 16cm: 사과 2개·바나나 1개 / 바나나 1개. 정보이득 ≈ 0.311비트.

각 기준값 t에서 길이 ≤ t와 길이 > t로 나눈다. 길이 기준 중에서는 13cm가 가장 좋으며, 이 데이터에서는 색상 질문과 정보이득이 같다.

질문 선택과 분할 반복

1. 후보 구성: 현재 노드에서 사용할 특징과 분할 기준을 정한다.
2. 정보이득 비교: 각 후보로 나눠 클래스 수를 세고, 분할 후 엔트로피의 가중평균을 계산한다.
3. 질문 선택: 조건을 만족하는 후보 중 정보이득이 가장 큰 질문으로 나눈다.
4. 반복과 종료: 자식 노드에서 같은 과정을 반복한다. 한 클래스만 남거나, 최대 깊이·최소 샘플 수 등 종료 조건에 도달하면 멈춘다.

출처 기존 강의자료 「인공지능13주차」 23~24쪽. 과일 예제는 수업용 가상 데이터다. 분할과 종료 조건: scikit-learn 의사결정트리 문서 (2026-10-13 확인).

유사한 것은 가깝게, 다른 것은 멀리

메트릭 러닝은 데이터 간 유사도·거리를 효과적으로 잴 수 있는 임베딩 공간을 학습하는 방법론이다. 신경망 f가 입력을 벡터로 바꾸고, 같은 클래스는 가깝게, 다른 클래스는 멀게 표현하도록 훈련한다. 여기서는 거리 비교의 원리를 먼저 살펴본다. 신경망과 역전파의 계산은 다음 모듈(M6)에서 배운다.

출처 FaceNet: Schroff 외, 2015: arxiv.org · Contrastive: Hadsell 외, 2006: ieeexplore.ieee.org

대조학습을 이용한 표현 학습

대조학습은 관련된 쌍과 그렇지 않은 쌍을 구분하도록 표현을 학습한다. 여기서는 같은 이미지의 서로 다른 증강을 양성 쌍으로 사용하는 자기지도 학습을 다룬다.

• Positive pair: 같은 이미지에 다른 증강(자르기, 색 왜곡)을 가한 두 버전. 임베딩이 가까워지도록.
• Negative pair: 서로 다른 이미지들. 임베딩이 멀어지도록.
• 데이터 증강이 핵심: 무엇을 "같다"로 정의할지가 증강의 설계에 달려 있다.

출처 SimCLR: Chen 외, 2020: arxiv.org

프로토타입 계산과 분류

각 클래스를 프로토타입(대표 벡터) 하나로 표현하고, 쿼리와 프로토타입 사이의 거리로 분류한다. 프로토타입은 지원 집합(support set) 임베딩의 평균이다: cₖ = (1/|Sₖ|) Σ f(xᵢ).

1. 에피소드 샘플링: N개 클래스 × 클래스당 K개 샘플로 미니 과제를 만든다 (N-way K-shot).
2. 프로토타입 계산: 지원 집합 임베딩의 클래스별 평균.
3. 거리 기반 분류: 쿼리와 각 프로토타입의 유클리드 거리를 잰다.
4. 손실 계산: 거리를 확률로 변환하고 교차엔트로피로 임베딩을 학습할 수 있다. 소프트맥스와 교차엔트로피의 계산은 M6에서 다룬다: p(y=k|x) = exp(−d(f(x),cₖ)) / Σⱼ exp(−d(f(x),cⱼ)).

출처 Snell, Swersky & Zemel, "Prototypical Networks for Few-shot Learning", NeurIPS 2017: arxiv.org

퓨샷 학습 방법 비교

Prototypical Networks, Matching Networks, Relation Networks가 비교 대상과 유사도를 계산하는 방식을 정리한다.

핵심 내용

1. kNN과 K-means는 목적이 다르다. kNN 분류는 레이블이 있는 이웃을 참고해 예측하고, K-means는 레이블 없이 데이터를 군집으로 나눈다.
2. 분류 트리는 정보이득으로 분할을 비교할 수 있다. 부모 노드의 엔트로피에서 자식 노드 엔트로피의 가중평균을 뺀다.
3. 거리 기반 방법에서는 표현과 거리의 선택이 중요하다. 메트릭 러닝은 과제에 적합한 유사도를 계산하도록 표현을 학습한다.
4. 퓨샷 분류는 이전에 학습한 표현을 활용한다. 프로토타입 네트워크는 새로운 클래스의 소수 샘플로 대표 벡터를 만들고 질의점을 분류한다.