词元 Token 是什么？大模型怎么把文字切成小块来读

词元（英文 Token）是大语言模型读取和生成文本时使用的最小单位。模型先把一段文字切成一串词元，再逐个处理，输出时也是一个词元一个词元地往外吐。可以把它想成搭乐高：常见的形状有现成的大块，直接拿来用；遇到少见的形状，就用小颗粒拼出来。词元就是模型手边的这套积木，一块可能是一个完整的词，可能是半个词，也可能只是一个标点或一个字节。

模型是怎么靠词元读文字的

模型内部算的是数字，不是文字，所以文本进门要先过分词器（tokenizer）。分词器按一套固定规则把文本切成词元，每个词元在词表里对应一个整数编号。模型拿这串编号去计算，预测下一个词元的编号，最后再由分词器翻回文字。OpenAI 帮助中心把这个过程概括成三步：文本被切成词元，模型处理词元，回复先以词元序列生成，再转回文本。

词表就是这套积木的全集，大小在训练前定好。GPT-2 的词表是 50257 个词元；Qwen 官方文档写明有 151643 个常规词元；tiktoken 里较新的两套编码，词表规模分别在 10 万和 20 万上下。词表大了，同样一句话切出的词元会少一些，代价是模型要多存多算一部分参数，这是个取舍。

切分的规矩怎么定？主流办法叫 BPE（字节对编码）：先把文本拆到最细，统计相邻两块里谁最常一起出现，就把它们合成一个新块，一轮轮重复，直到词表凑够数。结果是常见的词最后成了单块，生僻词留成几个碎块。

这套切法是从哪来的

BPE 原本是 Gage 在 1994 年提出的数据压缩算法。2015 年，爱丁堡大学的 Rico Sennrich、Barry Haddow 和 Alexandra Birch 把它拿来做词语切分，论文《Neural Machine Translation of Rare Words with Subword Units》后来发表在 ACL 2016。他们要解决的是神经机器翻译的老毛病：词表固定，遇到生僻词和没见过的词就抓瞎，原先靠回退词典补救。改用子词单位之后，在 WMT 15 的英德、英俄翻译任务上，比回退词典的基线分别高出 1.1 和 1.3 个 BLEU。

2018 年，Google 的 Taku Kudo 和 John Richardson 发布了 SentencePiece（EMNLP 2018 演示论文）。它可以直接从原始句子训练子词模型，不依赖事先按空格切词，空格本身被转成一个特殊符号，当普通字符处理，对中日文这类不靠空格分词的语言尤其省事。它实现了 BPE 和 unigram language model 两种算法。2019 年的 GPT-2（Radford 等，OpenAI，《Language Models are Unsupervised Multitask Learners》）用的是字节级 BPE：起点是 256 个字节，任何文本都编码得出来，不会冒出“未知词”。Qwen 的分词器同样是字节级 BPE。

各家模型里的词元长什么样

先说一个共同点：各家文档都把换算比例当估算，不当精确值。OpenAI 给英文的经验值是 1 词元约 4 个字符、约四分之三个词，100 词元约 75 个词，同时强调切法随模型和编码而变，要数准得用 Tokenizer 工具或 tiktoken。Gemini 的文档说法接近：约 4 个字符，100 词元约 60 到 80 个英文单词。它还说明图片、视频、音频也一并词元化，比如视频每秒 263 个词元，音频每秒 32 个。

中文的情况看各家自己的说法。Qwen 文档给的经验值是英文 1 词元约 3 到 4 个字符，中文约 1.5 到 1.8 个字符；DeepSeek 文档写的是 1 个英文字符约 0.3 词元，1 个汉字约 0.6 词元，并注明以接口返回的 usage 为准。Claude 这边，Anthropic 文档说明从 Claude Opus 4.7 起换了新分词器，同样的文本比此前的模型多出约 30% 的词元，具体幅度看内容。

词元和字、词、令牌有什么不一样

词元不等于字，也不等于词。OpenAI 的说明是，一个词元可以是单个字符、半个词、整个词或标点，空格和大小写也会影响切法，red、Red 和带前导空格的 red 就可能是不同的编码。词元编号也不通用，别假设同一个编号在所有模型里是同一块积木。

名字上的混淆更多。Token 在区块链里译作“代币”或“通证”，在网络安全里是“令牌”，在编译原理里叫“标记”，和大模型里的词元不是一回事。2026 年 3 月 23 日，国家数据局局长刘烈宏在中国发展高层论坛上宣布，人工智能领域的 Token 中文名定为“词元”，全国科学技术名词审定委员会随后发布公告，优先推荐这一译名并面向社会试用。公开讨论里也有人主张叫“符元”，理由是图像、音频同样会被切成词元，叫“词”覆盖不全。

写提示词和算成本时要留意什么

计费和上限都按词元算，这是最直接的影响。按 OpenAI 的说明，输入、缓存命中的输入和输出的价格可以各不相同，推理模型的推理词元不会显示在答案里，却按输出计费，所以答案很短也可能花得不少。上下文窗口同样以词元计，Gemini 文档说明它是输入和输出合起来的上限。

选型时，单价低不等于总价低。同一段文本，不同模型切出的词元数不一样，输出长度和推理量也不一样，OpenAI 的文档也提醒要拿有代表性的任务去测。我们 AI主线 的建议是：别只看每百万词元的标价，用你自己真实的提示词，在目标模型上调官方的计数接口数一遍，再比总花费。Anthropic 的 count_tokens 会按你传入的模型的分词器计数，Gemini 和 OpenAI 也各有对应的计数接口。

中文英文混着写，或者中途换了模型，凭字数估词元就更容易跑偏，先数一遍再发请求最稳。