Formulas

스케일드 닷-프로덕트 어텐션

attention_scaled_dot

멀티헤드 어텐션

사인·코사인 포지셔널 인코딩

positional_encoding_sincos

잔차 학습

residual_h_equals_f_plus_x

Add & Activate (ResNet 블록)

SGD 업데이트

Adam 1·2차 모멘트

Adam 편향 보정

adam_bias_correction

Adam 파라미터 업데이트

adam_param_update

모멘텀 업데이트

momentum_update

AdaGrad 업데이트

RMSProp 업데이트

Adam 유효 학습률

adam_effective_lr

AdamW (Decoupled Weight Decay)

BN 미니배치 평균·분산

BN 정규화

BN 스케일·이동 (γ, β)

BN Running Statistics

드롭아웃 마스크

dropout_bernoulli

Test-time 스케일링

dropout_test_scale

Inverted Dropout

dropout_inverted

기본 RNN 재귀

RNN 기울기 곱셈 체인

망각 게이트

입력 게이트 · 후보 셀

셀 상태 업데이트

출력 게이트

셀 기울기 하이웨이

GRU 은닉 업데이트

Skip-Gram 목적 함수

w2v_skipgram_obj

Skip-Gram 소프트맥스

Negative Sampling

w2v_neg_sampling

서브샘플링 (고빈도 단어)

w2v_subsampling

벡터 산술 (유추)

LN 평균·분산 (특징 축)

LN 정규화

LN 스케일·이동 (γ, β)

ReLU

Local Response Normalization

최대 풀링

출력층 오차 신호 δ_L

오차 신호 재귀

가중치·편향 기울기

연쇄 법칙 전개

BERT 분류 헤드

Masked LM 목적함수

SQuAD 시작 위치

bert_span_start

자기회귀 언어 모델

잔차 스케일 초기화

스케일 로그-선형 경향

보상 모델 손실

PPO 목적 (KL 페널티)

PTX 혼합 손실

파라미터 스케일링

연산량 근사

Kaplan 최적 배분

Chinchilla 동등 스케일

Chinchilla 규칙 (~20 tok/param)

RoPE (회전 위치)

Self-Consistency 다수결

Text-to-Text

CoT 선호도 클램프

패치 개수

ViT 입력 임베딩

ViT 인코더 블록 (Pre-LN)

CLIP 대칭 InfoNCE

스케일 코사인 유사도

비전→언어 투영

멀티모달 자기회귀

게이트 크로스-어텐션

flamingo_gated_xattn

Perceiver Resampler

flamingo_resampler

Q-Former query 추출

blip2_qformer_query

이미지-텍스트 대조 (ITC)

소프트 시각 프롬프트

blip2_soft_prompt

YOLO 출력 텐서 크기

yolo_output_tensor

박스 신뢰도(Confidence)

yolo_confidence

YOLO 다중 파트 손실 함수