bpe_tokenizer

BPE 토크나이저

Byte Pair Encoding 서브워드 분할. GPT-2 어휘 약 50,257 토큰.