Language Models are Unsupervised Multitask Learners — GPT-2

30초 비유

다음 단어 맞히기만 아주 크게 연습시켰더니, 시키지도 않은 번역·요약·질문답변을 그냥 하기 시작했습니다. “예시를 프롬프트에 몇 개 보여주면 따라 한다”는 걸 처음으로 크게 보여준 모델입니다.

무엇을 제안했나

• 15억 파라미터 자기회귀 LM을 WebText(~40GB) 로 학습.
• 태스크별 학습 없이 제로샷 으로 여러 태스크를 시도.

그래서 무엇이 달라졌나

• “스케일이 곧 범용성”이라는 가설에 강한 증거 — 크기를 키우자 능력이 창발.
• GPT-3·ChatGPT의 직접 전신. 공개 방식 논쟁(단계적 공개)도 화제가 됨.

더 공부할 가치가 있을까?

• LLM 계보를 이해한다면 — Scaling Laws·GPT-3와 한 세트로 보면 좋습니다.
• 바쁘면 GPT-3로 바로 넘어가도 됩니다 — 아이디어의 완성형이 거기 있습니다.

GPT-1(2018): ~1.17억, 다운스트림 미세조정이 기본.

GPT-2 가설: 언어 모델이 충분히 크면, 웹 텍스트에 섞인 번역·요약·QA 패턴을 암묵 학습해 자연어 프롬프트만으로 과제를 수행한다.

기본은 Transformer 디코더 (단방향 자기회귀). GPT-1 대비 변경: Pre-LN, 최종 블록 추가 LN, 잔차 1/√N 초기화, 컨텍스트 1024, BPE 어휘 50,257.

Reddit 아웃링크 중 karma ≥ 3인 페이지만 수집 → ~800만 문서, ~40GB. 위키·책 중심 큐레이션보다 도메인이 넓고 “읽을 가치” 필터가 있습니다.

유산

• 스케일 → Scaling Law (Kaplan et al.) · GPT-3
• 프롬프트 → In-Context Learning · 현대 프롬프트 엔지니어링
• NLP 제로샷 → CLIP이 비전에도 같은 아이디어 적용
• 악용 우려로 단계 공개 → AI 안전·거버넌스 논의의 출발점 중 하나