废话比率是什么？菲尔兹奖得主为评价 AI 回答提出的指标

废话比率（Crapness Ratio）是一个衡量大语言模型回答中无用信息占比的说法，由菲尔兹奖得主、剑桥大学的数学家蒂莫西·高尔斯（Timothy Gowers）在 2024 年提出。它用来评估大模型给出的答案中，有多少是废话或无效的信息。

它是怎么来的

这个说法源于高尔斯在社交媒体上分享的一次测试。他用经典的“过河问题”的简化版本测试 GPT-4o：这类谜题的原版是一个农夫要带着一只狼、一只羊和一棵白菜过河，船每次只能带一样东西，狼和羊、羊和白菜不能单独留在一起，问怎么安排才能全部安全过河。高尔斯把题目改得非常简单，比如只需要带一样东西过河，答案一步就能完成。但 GPT-4o 却给出了一套冗长复杂的多步方案，像是在套用原版难题的解法，包含了大量完全没有必要的来回运送。高尔斯开玩笑地提出，可以定义一个“废话比率”：回答的总长度与真正有用的内容长度的比值，并调侃说在这个问题上，模型的废话比率高得惊人，甚至可以构造出让比率任意大的例子。

它揭示了什么

这个例子之所以引起广泛讨论，是因为它揭示了大语言模型的一个典型问题：模型往往依赖对训练数据中常见模式的匹配，而不是真正理解题目。看到“农夫、狼、羊、过河”这样的关键词，它会自动调用记忆中经典难题的解法，即使题目已经被改得面目全非。这也被称为对“问题表面特征”的过度依赖。类似的例子还有很多：把经典的逻辑谜题稍作修改，模型常常仍然给出原题的答案。研究者用这类改编题来检验模型是否真正具备推理能力，而不只是在复述背过的答案。

今天的意义

废话比率并不是一个严格定义的学术指标，更像是一个形象的批评。但它触及了评估 AI 时一个重要的维度：一个回答不仅要正确，还应该简洁、切题，不应该用大量冗余甚至错误的内容来掩盖或稀释真正有用的信息。随着推理模型越来越“能说”，回答越来越长，如何避免冗长、提高信息密度，也成了模型训练和评估中被关注的问题，比如一些研究会专门惩罚不必要的长回答，或者衡量用多少 token 达到同样的准确率。