Constitutional AI: Harmlessness from AI Feedback

30초 비유

아이에게 “이건 되고 저건 안 돼”를 사람이 매번 일일이 라벨링하는 대신, 짧은 가훈(헌법) 을 주고 스스로 자기 답을 비판·수정하게 합니다. 그다음엔 AI 자신이 채점자가 되어 강화학습을 돌립니다.

무엇을 제안했나

• SL-CAI — 모델이 자기 답을 헌법 원칙에 비춰 비판하고 고쳐 쓴 데이터로 지도학습.
• RL-CAI (RLAIF) — 사람 선호 대신 AI 선호로 보상 모델을 만들어 강화학습.

그래서 무엇이 달라졌나

• 무해성 인간 라벨 없이 유해 요청을 잘 거절 — 게다가 “답할 수 없습니다”로 회피하지 않고 이유를 설명.
• Claude 계열의 핵심 방법.

더 공부할 가치가 있을까?

• LLM 안전·정렬에 관심 있다면 필수.
• 먼저 볼 것 — RLHF 일반론인 InstructGPT. CAI는 그 위에서 “사람 대신 원칙/AI”로 바꾼 것입니다.

InstructGPT형 RLHF는 도움이 되지만, Anthropic 선행(Bai et al. 2022 HH)에서는 유익 ↔ 무해가 충돌했습니다. 크라우드워커가 해로운 요청에 회피를 보상 → “I can’t answer that”에 갇힘. 핵심 질문: 명시적 원칙 몇 줄로 무해성을 감독할 수 있을까? (Scaling Supervision)

시작점은 helpful-only RLHF. 레드팀 프롬프트에 응답 → 헌법 원칙을 무작위 샘플해 비판 → 수정. 같은 파이프라인을 여러 번(SL-CAI-$n$, $n=1..4$). POV 혼동을 막으려 few-shot 비판/수정 예시를 붙임. SFT는 사전학습 LM에, 모든 수정 단계의 응답(+ helpfulness 샘플)을 넣음 — 마지막본만은 아님. 목적: RL 전에 분포를 무해 쪽으로 옮겨 탐색 부담을 줄임.

데이터(§3.2): 인간 레드팀 42,496 + 모델 생성 140,335 = 182,831 프롬프트. 프롬프트당 비판–수정 4쌍. Helpfulness 인간 프롬프트 135,296(응답 2개). $T=1$. 배치 1024, LR은 사전학습의 0.5배.

SL·RL 각각 16개 원칙(Appendix C). 연구용으로 ad hoc — Sparrow처럼 정교히 설계하지 않음. 단계마다 무작위 샘플(앙상블이 PM을 더 견고하게). 원칙 개수를 늘려도 무해성 PM 점수는 거의 안 오르고, 다양성(이후 RL 탐색)에 이롭다고 봄(Fig. 6). 노트에 있는 UN·Apple ToS 혼합은 이 논문 16조가 아니라 이후 Claude 제품 헌법 쪽.

SL-CAI가 응답 쌍을 생성. 피드백 모델이 원칙에 따라 (A)/(B) 중 덜 해로운 쪽을 고름 → 무해성 비교 182,831. CoT 없음: 사전학습 LM + 소프트 확률. CoT: helpful RLHF + “Let’s think step-by-step” (CoT) 후 40–60% 클램프. Helpfulness는 기존 인간 비교 135,296과 혼합한 하이브리드 PM. 그다음 PPO (InstructGPT와 같은 형식). 무해성만 AI 라벨 — 유익성은 여전히 HF.

Elo는 차이만 의미 — 논문은 절대 Elo 숫자를 표로 안 줌(Fig. 2–3, 8). 크라우드워커 비교 유익 10,274 · 무해 8,135. 평가 지시: 둘 다 무해하면 회피보다 설명을 선호. 그 결과 HH RLHF와 Helpful RLHF의 무해 Elo 간격이 선행 논문보다 작게 보임.

결과 정리 (원문)

• Fig. 4: HHH 비교 438문항(기존 221 + 더 어려운 217). 큰 모델에서 CoT가 인간 HF PM에 근접 — 정확 %는 그림만, 표 없음.
• RL-CAI: 같은 유익 수준에서 HH RLHF보다 덜 해로움 (Pareto, Fig. 2). CoT 버전은 유익이 약간 낮고 무해가 약간 높음.
• SL-CAI: 두 RLHF보다 유익은 낮음. 무해는 Helpful RLHF보다 낫고 HH RLHF보다 못함.
• 비판–수정 반복 → 무해 PM 점수 단조 증가(Fig. 5). 노트 표의 ‘유해 비율 %’는 원문에 없음(스케치).
• 비판 단계는 작은 모델에 이득, 52B는 직접 수정과 비슷(Fig. 7) — 그래도 투명성 때문에 유지.
• 절대 해악 0–4(Fig. 10): Helpful RLHF는 학습하며 더 해로워지고, HH·RL-CAI는 낮아짐.
• 과학습 시 Goodhart: “you are valid, valued, and cared for” 상용구(§4.3).

유산

• Claude 제품 정렬의 뼈대 · 이후 RLAIF(Google 등) · 공개 Model Spec류 원칙 문서
• 한계: 헌법 편향, 원칙 충돌, 미묘한 해악, 유익성 HF는 그대로, 감독 자동화의 양날