gpt2_res_init

잔차 스케일 초기화

W_{\mathrm{res}} \leftarrow W_{\mathrm{res}} / \sqrt{N}

잔차 스케일 초기화수식 상세 →

기호를 클릭하면 의미를 볼 수 있습니다

단계별 설명