词元 Token 是什么？大模型读写文字的最小单位

词元（Token）是语言模型读写文本的最小单位。模型并不直接认识“字”或“词”，而是先由分词器把文本切成一个个 token，每个 token 查表变成一个整数编号，再送进神经网络计算。模型输出时也是一个 token 一个 token 地生成，最后再拼回文字。上下文窗口的大小、API 的计费，都是按 token 来算的。

为什么不直接按字或词切

按整词切，词表会随着语言不断膨胀，遇到新词、生僻词、拼写错误就无法处理，这在早期叫“未登录词”问题。按单个字符切，词表很小，但序列会变得非常长，语义单元太碎，计算成本高、模型也更难学。token 的切分是在这两者之间找平衡。

子词切分：BPE

目前主流的做法是子词切分。2015 年，Sennrich 等人在神经机器翻译的论文里系统引入了基于字节对编码（BPE）的子词切分：从单个字符出发，统计相邻符号组合出现的频率，反复把最常见的一对合并成一个新符号，直到词表达到预设大小。结果是常见词作为整体保留，罕见词被拆成几个更小的片段，几乎任何文本都能被表示出来。这种方法在当时的翻译任务上明显提升了效果，后来被 GPT 系列等大模型广泛采用，并衍生出 WordPiece、SentencePiece 等变体。

中文和英文不一样

英文里，一个 token 大约相当于四分之三个单词。中文的情况取决于分词器：词表里中文多的模型，一个常用汉字或词语可能就是一个 token；词表以英文为主的模型，一个汉字可能要两到三个 token。这意味着同样标称 128K 的上下文、同样的每百万 token 价格，处理中文时实际能装的字数和花的钱，可能差别很大。选模型时，用自己的真实文本测一下 token 数，比看标称规格更可靠。

“token”这个词本身来自编译原理，原指词法分析切出来的单元，比大模型早得多。