Formulas

스케일드 닷-프로덕트 어텐션

attention_scaled_dot

멀티헤드 어텐션

사인·코사인 포지셔널 인코딩

positional_encoding_sincos

잔차 학습

residual_h_equals_f_plus_x

Add & Activate (ResNet 블록)

SGD 업데이트

Adam 1·2차 모멘트

Adam 편향 보정

adam_bias_correction

Adam 파라미터 업데이트

adam_param_update

모멘텀 업데이트

momentum_update

AdaGrad 업데이트

RMSProp 업데이트

Adam 유효 학습률

adam_effective_lr

AdamW (Decoupled Weight Decay)

BN 미니배치 평균·분산

BN 정규화

BN 스케일·이동 (γ, β)

BN Running Statistics