kl_penalty

KL 페널티

정책이 SFT 참조에서 너무 멀어지지 않게 KL 항으로 제약 — 보상 해킹 완화.