西双版纳4个字，勐腊2个字，谁的 token 更多？
西双版纳有四个字，勐腊只有两个字，为什么后者反而可能消耗更多 token？读《Token经济》时，这个身边的例子让我对 AI 处理文字的方式产生了兴趣。我把它做成了一段两分多钟的动画：先拆开“勐”的字节，再看词表如何通过 BPE 逐步形成，最后演示分词器怎样按已有规则，把文字变成编号。希望借助这些会移动、会合并的小卡片，让抽象的 token 变得看得见，也帮助自己理清“字数”和“token 数”的区别，以及“训练规则”和“使用规则”是两回事。