swiglu

SwiGLU

Swish 게이트가 달린 FFN 활성화. ReLU 대비 성능↑, LLaMA가 채택.