任务成功率 Success Rate 是什么？看榜单先读懂它

任务成功率（Success Rate，常缩写成 SR）是智能体评测里最常见的一个百分比：一批固定的任务里，被判定为“目标达成”的任务占多少。公式很朴素，成功的任务数除以任务总数。可以把它想成驾校科目二的通过率，教练不关心你方向盘转得多帅，只看最后有没有入库、有没有压线，过了记 1，没过记 0。

它到底在数什么

分母是一批事先定好的任务，分子是通过判定的任务，全部的难处都在“怎么判”。学术综述把它归进“任务完成度”这一类，常见别名有 Task Success Rate、Overall Success Rate，近亲还有 Pass Rate 和 Task Goal Completion。

判定方式大致有三种。一种是跑测试：SWE-bench 把一个 GitHub 议题交给模型去改代码，原本失败的测试要全部转成通过，原本通过的测试也不能被改坏，才算解决（resolved），榜单上的 % Resolved 就是这个比例。一种是比终态：τ-bench 让模型扮演客服去调数据库接口，对话结束后拿数据库的最终状态和标注好的目标状态对比；OSWorld 的每个桌面任务都带一段检查脚本，看文件和应用状态对不对。还有一种是请另一个模型当裁判，有的机器人操作评测就这么打分，裁判的口味会直接影响成绩。

最容易踩的坑，是把“完成”当成“成功”。智能体跑完流程、没报错、给出了回答，只能叫完成；结果和目标对不上，照样记失败。

从哪来的

这个算法本身没有哪位发明者，它是跟着智能体评测一起火起来的。2023 年 7 月，卡内基梅隆大学的研究者发布 WebArena，用 812 个网页任务测智能体，当时最好的 GPT-4 智能体端到端成功率是 14.41%，人类是 78.24%。2023 年 10 月 SWE-bench 发布，最初的检索增强基线只有 1.96%，随后的 SWE-agent 做到 12.47%。2024 年的 OSWorld 把战场搬到真实的虚拟机桌面，369 个任务，论文里最好的模型是 12.24%，人类是 72.36%。2024 年 6 月，Sierra 的 τ-bench 补上了另一块：同一个任务反复跑，还能不能次次做对。

为什么还要拆出 pass@k 和 pass^k

智能体每次跑的结果常常不一样，于是有了按次数统计的写法。pass@k 指 k 次尝试里至少成功一次，pass^k 指 k 次全部成功，k=1 时两者相同。假设单次成功概率是 p，每次相互独立，pass@k 等于 1 减去（1-p）的 k 次方，pass^k 等于 p 的 k 次方。单次 75% 听着不错，连跑 3 次全对只有约 42%。τ-bench 论文里，gpt-4o 用函数调用在零售域的 pass^1 约 61%，pass^8 掉到约 25%，用的就是这个口径。

Anthropic 在 2026 年 1 月的工程博客《Demystifying evals for AI agents》里给了选择办法：允许重试的工具看 pass@k，面向用户、要求次次可靠的智能体看 pass^k。

现在在哪用，读数时要留意什么

SWE-bench Verified 是原版里经人工验证的 500 题子集，Anthropic、OpenAI 等厂商在 2024 到 2025 年的模型发布里都引用过它的分数。τ-bench 后来有了加入电信领域的 τ²-bench，它和 OSWorld 也是智能体榜单上的常客。这些数字能比，但有几处要看清。

先看题集版本：同叫 SWE-bench，原版 2294 题，Lite 300 题，Verified 500 题，不能直接并排比。再看提示和外壳：WebArena 论文里同一个 GPT-4，加一句“做不到就答 N/A”的提示，成功率是 11.70%，不加是 14.41%。再看怎么判：WebArena 只检查终态，路上乱点、碰巧把目标状态凑出来，也算成功；换成模型当裁判，就要追问裁判靠不靠谱。还要看是单次成绩还是允许重试的成绩，两者按定义就不是一回事。最后是成本，成功率不告诉你为了成功烧了多少 token，有的评测会另外报“每个成功任务的平均 token 数”，选模型控预算时这个数更接近账单。

我们 AI主线 的建议是，看到任何一个成功率，先问四件事：题集是哪个版本，跑了几次，谁来判的，每次成功花了多少钱。这四个问题答不上来的数字，拿来参考可以，拿来选型要留余地。