AWS 把决策模型塞进智能体评测，小模型先筛，大模型评委再复盘
给智能体做评测，烧钱的往往不是难题，而是一大堆一句话就能判的小问题。这条回复跑题没有，这次工具调用能不能放行，每一条都叫大模型来当评委，账单和延迟一起往上蹿。
11 月 4 日，AWS 机器学习博客发文，演示怎么把“决策模型”接进 Amazon Bedrock AgentCore Evaluations：用 Lambda 写的代码评估器，去调 TypeSafe 的托管模型 Jev，或者 AWS 自家开源的 Strands Decider 2B。我们 AI主线 的看法是，AgentCore 这次没有添新功能，AWS 做的事是公开认下一种分工：便宜的小决策模型先把评测流量筛一遍，贵的 LLM 评委只复盘被挑出来的那几轮。
决策模型是个什么东西，凭啥能当评委
它是个小专才。你给它一个结构化的状态，再给一组固定的候选答案，它不写字，只吐出每个答案的概率。AWS 说这类模型支持三种问法：是非题（返回 0 到 1 之间的概率）、选择题（最多 255 个选项）、打分题（2 到 10 个有序等级）。
打个比方，它像只会做单选题的考生，LLM 评委则像写评语的阅卷老师。评语对查错有用，可同一份卷子判两遍，老师的把握程度未必一样；考生交上来的是一个能直接拿去设阈值的数。“这条回复守没守规矩”这种一眼能判的题，要的就是这个数。
那它能把 LLM 评委整个换掉吗？不能，AWS 自己也这么说。需要把证据串起来、要解释清楚为什么错的评估，还得留给内置评估器。
AWS 这篇到底新在哪
先交代底子。AgentCore Evaluations 在 2026 年 3 月 31 日正式可用，能对线上流量采样打分，也能在开发阶段按需评测。内置评估器 GA 时是 13 个，这次 AWS 提到的是 15 个。自定义评估器有两条路：用你自己的提示词让 Bedrock 上的模型当评委，或者在 Lambda 里跑你自己的代码，代码里想调谁都行。
后一条路 GA 时就有，所以产品没变，变的是用法。样例是个 HR 助手，用 Strands Agents 搭，部署在 AgentCore Runtime 上，五个工具返回的全是固定的假数据，年假余额、制度、福利、工资条这类。数据是死的，就知道哪一轮该判错，再去看各路评估器逮没逮住。这个设计我挺认：评估器自己也得被评估，得有标准答案才量得出来。
筛选层怎么搭？两个后端都能在一次请求里，对同一个状态问好几个问题。跑一遍通过或不通过，把值得深挖的轮次挑出来，再交给内置评估器去出解释。这样做的账很好算：Jev 的价格是输入每百万 token 0.042 美元、输出免费，按一个 300 token 上下的小请求算，一次大约 0.0000126 美元。全量筛一遍和抽样看一眼，成本不在一个量级。
Jev 和 Decider，一个托管一个自养，怎么挑
Jev 是 TypeSafe 的闭源托管服务，9 月 15 日开放早期访问，只吃文本，权重没有公开，上面那个价格是 TypeSafe 公布的早期定价。
Strands Decider 2B 是 AWS Strands Labs 在 10 月 1 日放出的开源模型。底座是 Qwen3.5-2B，AWS 把生成文字的头拆了，换上一个约 100 万参数的“指针头”，专门给候选答案打分；权重、训练数据和脚本都放了出来。AWS 称它在本地小任务上的延迟中位数约 115 毫秒（RTX 3090），JevBench 公开集上在 33 个 2B 级模型里排第 3 位。这两组都是 AWS 自家的数据，拿来当参考，别当判决。
挑哪个，我看关键在数据往哪走。评测要把生产会话的内容送去打分，用托管 API 就等于送出去给第三方；Decider 得自己架服务，AWS 的建议是上线时放在 VPC 里的 EC2 上，让 Lambda 够得着，数据不出自己的网络。省事和数据边界，二选一的活儿。
这条路也不绑定谁。OpenAI 10 月 6 日把 Decisions API 开放公测，跑在 gpt-6-luna 上，输入每百万 token 0.10 美元，还支持图片输入，而 Jev 目前只吃文本。Jev 9 月中旬一出，三周之内这个赛道就挤满了人，在 Lambda 里换一家来调，改的只是几行请求转换。
样例跑得漂亮，真流量上的账还得自己算
说清楚边界。样例用的是固定假数据，能证明接线方式走得通，证明不了它在你的生产流量上够准。AWS 的措辞也留了余地：先在自己的流量上验证过某个问题，决策模型才可能足以胜任那个判断。Strands 团队在发布 Decider 时同样承认，这类模型一次并行出答案，碰到复杂推理会比推理模型吃亏。
我的判断是，线上评测一旦从抽样走向全量，成本和延迟就是卡脖子的地方，“小模型筛一遍，大模型复盘”这种打法，会变成不少团队的默认配置。圈里常说抄作业，这份样例就是现成的作业，拿固定数据加已知答案，先量一量你的场景里两条路差多少。
接下来盯两件事：Strands 团队说在做决策模型的集成库，出来之后接线可能就不用自己手写请求转换了；还有，有没有人拿真实生产流量，把决策模型和 LLM 评委的一致率摊开给大伙看。AI主线 会接着盯。