글로벌 반도체 뉴스
자동 수집 & 주간 브리핑

"지난주에 TSMC랑 NVIDIA 쪽에서 뭔가 있었나요?"

월요일 아침 회의에서 이런 질문이 나온다. "지난주에 TSMC랑 NVIDIA 쪽에서 뭔가 있었나요? SK하이닉스 HBM 관련 뉴스는요?" 지금은 사람이 Reuters·TechCrunch·Nikkei를 일일이 뒤져 정리한다. 이 실습을 마치면 시스템이 자동으로 수집하고, AI가 정리해서, 월요일 아침 텔레그램으로 브리핑이 도착한다.

이번에도 코드를 직접 작성하지 않는다(바이브코딩). 설계를 이해하고, 단계마다 AI에게 정확히 요청하고, 결과를 확인하는 것이 우리의 일이다.

전체 흐름 — 5단계 파이프라인

각 단계가 독립된 파일 하나로 만들어지고, 마지막에 app.py가 전부 통합한다. 앞의 실습에서 배운 기법이 단계마다 하나씩 들어간다.

모니터링 대상 기업

NVIDIA / AMD / Intel / TSMC / SK하이닉스 / Qualcomm (+Samsung)

뉴스 소스 (RSS)

Reuters Technology / TechCrunch / Ars Technica / The Verge / Semiconductor Engineering

준비 — 폴더, 패키지, Supabase 테이블

작업 폴더 semi_monitor를 만들고 패키지를 설치한다. Supabase 계정과 HuggingFace 토큰이 필요하다.

pip install gradio apscheduler supabase requests beautifulsoup4 huggingface_hub -q

Supabase에 기사 저장용 테이블을 만든다. SQL Editor에서 아래를 실행한다.

create table articles (
  id           bigserial primary key,
  title        text,
  url          text unique,
  source       text,
  published_at timestamptz,
  content      text,
  companies    text[],
  category     text,
  summary_ko   text,
  created_at   timestamptz default now()
);

RSS: 뉴스 사이트가 새 기사를 알려주는 표준 형식

RSS는 뉴스 사이트가 새 기사를 외부에 알려주는 표준 형식이다. 로그인이나 복잡한 파싱 없이 XML로 최신 기사 목록을 받을 수 있다. 5개 소스에서 하루 50~200건이 들어온다.

반도체 업계 뉴스를 RSS 피드에서 수집하는 크롤러를 만들어줘.

RSS 소스 5개:
- Reuters Technology: https://feeds.reuters.com/reuters/technologyNews
- TechCrunch: https://techcrunch.com/feed/
- Ars Technica: https://feeds.arstechnica.com/arstechnica/technology-lab
- The Verge: https://www.theverge.com/rss/index.xml
- Semiconductor Engineering: https://semiengineering.com/feed/

- xml.etree.ElementTree로 RSS 파싱
- 각 기사: title, url, published_at, description
- 반도체 관련 필터 키워드: semiconductor, chip, GPU, CPU, NVIDIA, AMD, Intel, TSMC, Samsung, Hynix, Qualcomm, HBM, wafer, foundry, fab
- 함수 fetch_articles(), 소스별 수집 건수 출력
파일명: crawler.py

확인 포인트

• crawler.py가 생성되고 fetch_articles() 함수가 있다
• 실행하면 소스별 수집 건수가 출력된다
• 키워드 필터를 통과한 기사만 남는다 — 반도체와 무관한 기사가 걸러진다

기업 태깅 + 카테고리 분류

분류는 두 축이다. 기업 태깅은 본문에서 기업명(과 제품명)을 감지해 companies 배열을 채우고, 카테고리 분류는 키워드로 뉴스 유형을 판별한다. LLM 없이 코드 몇 줄의 키워드 매칭만으로 동작한다.

기업 태깅 키워드

카테고리 분류 키워드 (우선순위 순)

crawler.py의 수집 결과를 분류해서 Supabase에 저장하는 classifier.py를 만들어줘.

- 함수 classify_and_store(articles)
- 기업 태깅: 아래 키워드가 제목/본문에 있으면 companies 배열에 추가
  NVIDIA(nvidia, nvda, h100, h200, blackwell, hopper, cuda) /
  AMD(amd, radeon, instinct, mi300, epyc) / Intel(intel, gaudi, xeon) /
  TSMC(tsmc, taiwan semiconductor) / Samsung(samsung) /
  SK Hynix(hynix, hbm) / Qualcomm(qualcomm, snapdragon)
- 카테고리 분류(우선순위 순): 실적/재무(revenue, earnings, profit, quarterly, forecast) /
  신제품(launch, announc, release, unveil) / M&A(acquisition, merger, deal, acqui) /
  공급망(supply, shortage, production, capacity) / 규제/정책(export, ban, restriction, sanction, regulat) /
  기술/연구(research, breakthrough, architecture, process) / 기타
- Supabase articles 테이블에 저장, url unique 제약으로 중복은 skip(upsert)
- companies가 빈 기사는 저장하지 않음
- 신규/중복/제외 건수 출력
파일명: classifier.py

연결 테스트

크롤러와 분류기를 한 줄로 이어서 실행해 본다.

python -c "from crawler import fetch_articles; from classifier import classify_and_store; classify_and_store(fetch_articles())"

확인 포인트

• Supabase 대시보드의 articles 테이블에 기사가 쌓인다
• companies 배열과 category가 채워져 있다
• 같은 명령을 다시 실행하면 중복 기사는 skip되고 신규만 추가된다
• 신규/중복/제외 건수가 출력된다

summary_ko가 비어 있는 기사만 배치로 요약

summary_ko가 null인 기사를 찾아 LLM이 한국어로 요약해 채운다. 형식은 1~2문장, 핵심 수치 포함, 기업명은 원문 그대로. API 한도를 고려해 한 번에 최대 20건씩 배치로 처리한다.

요약 예시

summary_ko가 null인 기사를 한국어로 요약하는 summarizer.py를 만들어줘.

- 함수 summarize_pending()
- Supabase articles에서 summary_ko가 null인 기사를 가져와 한 번에 최대 20건 배치 처리
- 모델: Qwen/Qwen3-8B (HuggingFace)
- 요약 프롬프트: "다음 반도체 업계 뉴스를 한국어로 1~2문장 요약. 핵심 수치·기업명 반드시 포함"
- 요약 결과를 summary_ko 컬럼에 업데이트
- 오류 시 "[요약 실패]" 저장 후 다음 기사 계속 진행
파일명: summarizer.py

확인 포인트

• 실행 후 summary_ko 컬럼이 한국어 요약으로 채워진다
• 요약에 핵심 수치(매출액, 증가율 등)가 살아 있다
• 기업명이 번역되지 않고 원문 그대로 유지된다
• 일부 기사가 실패해도 전체가 멈추지 않고 "[요약 실패]"로 기록된다

집계는 코드가, 해석은 LLM이

최근 7일치 기사(요약이 있는 것만)를 기업별로 그룹핑해 LLM에게 넘기면, LLM이 "핵심 요약 → 기업별 동향 → 주목할 트렌드 → 다음 주 관전 포인트" 구조의 브리핑을 작성한다.

리포트 구조

주간 브리핑 리포트를 생성하는 reporter.py를 만들어줘.

- 함수 generate_weekly_report()
- Supabase articles에서 summary_ko가 있는 최근 7일치 기사를 가져와 기업별로 그룹핑
- LLM 프롬프트: "당신은 반도체 산업 전문 애널리스트… [형식]
  📋 {날짜} 글로벌 반도체 업계 주간 브리핑 /
  🔑 이번 주 핵심 요약(3줄) /
  📊 기업별 주요 동향(건수+2~3줄, 없는 기업 생략) /
  📈 주목할 트렌드(2~3개) /
  👀 다음 주 관전 포인트(2~3개)"
- 결과를 reports/YYYY-MM-DD_weekly.md 파일로 저장
파일명: reporter.py

확인 포인트

• reports/ 폴더에 YYYY-MM-DD_weekly.md 파일이 생성된다
• 리포트가 📋 🔑 📊 📈 👀 다섯 섹션 구조를 지킨다
• 기사가 없는 기업은 동향 섹션에서 생략된다

탭 3개 + 스케줄 2개

crawler → classifier → summarizer → reporter 4개 모듈을 app.py가 통합한다. 대시보드는 탭 3개, 자동 실행 스케줄은 2개다.

crawler.py, classifier.py, summarizer.py, reporter.py 4개 모듈을 통합한 Gradio 앱 app.py를 만들어줘.

- 탭1 [📰 뉴스 피드]: 기업/카테고리/기간 필터 드롭다운 →
  gr.Dataframe(날짜, 제목, 기업, 카테고리, 한국어요약, 원문링크), 행 선택 시 영문 원문 표시
- 탭2 [📋 주간 리포트]: [리포트 생성] 버튼 → gr.Markdown으로 표시 /
  [텔레그램 발송] 버튼 / 과거 리포트 목록(reports/ 폴더) 로드
- 탭3 [⚙️ 모니터링 현황]: 마지막 수집 시각, 총 기사 수,
  기업별 기사 수 gr.BarPlot, [지금 수집] 버튼
- APScheduler로 스케줄 2개: 매일 06:00 수집+분류+요약 / 매주 월 08:00 리포트 생성+텔레그램 발송
- 텔레그램 메시지가 4096자를 초과하면 분할 발송
- 환경변수: SUPABASE_URL, SUPABASE_KEY, HF_TOKEN, TELEGRAM_TOKEN, TELEGRAM_CHAT_ID
파일명: app.py

확인 포인트

• 탭 3개(뉴스 피드 / 주간 리포트 / 모니터링 현황)가 모두 동작한다
• 뉴스 피드에서 필터를 바꾸면 표가 갱신되고, 행을 선택하면 영문 원문이 보인다
• [리포트 생성] → 리포트가 화면에 표시되고, [텔레그램 발송] → 폰으로 도착한다
• [지금 수집] 버튼으로 수동 수집이 되고, 기업별 기사 수 차트가 갱신된다

HuggingFace Space 배포

폴더 전체를 HuggingFace Space에 올리면 24시간 돌아가는 서비스가 된다. Secrets 5개 등록을 잊지 말 것.

semi_monitor/
├── app.py
├── crawler.py
├── classifier.py
├── summarizer.py
├── reporter.py
└── requirements.txt   # gradio, apscheduler, supabase, requests, beautifulsoup4, huggingface_hub

• Space Settings → Secrets에 환경변수 5개(SUPABASE_URL, SUPABASE_KEY, HF_TOKEN, TELEGRAM_TOKEN, TELEGRAM_CHAT_ID)를 등록한다.

이번 실습에서 결합한 것

확장 아이디어

• Nikkei Asia · Bloomberg Tech RSS 추가 — 소스를 넓힌다
• 감성 분석 → 기업 평판 점수화
• 키워드 트렌드 차트 — HBM, CoWoS, 3nm 언급 빈도 추적
• 경쟁사 비교 리포트 — NVIDIA vs AMD, TSMC vs Samsung

출처 원본 실습 노트(Notion): 글로벌 반도체 업계 뉴스 자동 수집 & 주간 브리핑 리포트 — 8H 종합 실습