#Tokenizer

为什么 GPT 把"strawberry"切成 4 个 token？为什么数错"strawberry 有几个 r"？这些都和 tokenizer 有关。