Google让AI反过来给人出题,帮人想清规则,比手写提示词靠谱吗
让你给“健康食物”下个定义,你多半写到第三条就卡壳。可一杯水果奶昔摆到面前,你立马会犹豫:这算健康,还是披着水果皮的糖水?
11 月 4 日,Google Research 在博客上放出了 Agile Deliberation,对应的论文发在 CVPR 2026,代码和一个 Colab 演示已经在 GitHub 开源。做法是让 AI 主动翻出边界案例给人看,人表个态,反馈再自动喂进提示词优化,最后得到一个图像分类器和一份结构化的概念定义。我们 AI主线 的看法是:Agile Deliberation 把“人其实还没想清楚规则”当成要解决的问题,这个方向是对的,但目前撑着它的只有一个 9 人规模的用户研究。
标注的人,其实也没想明白
传统训练流程默认一件事:给数据打标签的人,脑子里早有一把清楚的尺子。停车标志、金毛犬这种客观类别,这个假设成立。
可“健康食物”“有启发的艺术”,或者内容审核里什么算违规,这把尺子会随文化背景、个人观念和平台政策变来变去。更麻烦的是,多数人一开始只有个直觉,见到具体图片才发现自己的边界在哪。
Google 的解法分两步。第一步叫概念拆解,把“健康食物”拆成沙拉、谷物碗、瘦肉蛋白这些正面子类,再明确列出加工食品、未处理的生食材之类的排除项。第二步叫概念迭代,借的是主动学习的思路,但挑样本的标准不是“机器最拿不准”,而是让视觉语言模型(VLM,能同时看图和读字的模型)去捞那些按当前文字定义很难判的图,再由你拍板。
这有点像装修前,设计师不问你喜欢什么风格,直接甩一堆样板间让你摇头点头。你的每次选择都会送进自动提示词优化的循环,VLM 的判断边界跟着你一起挪。
手改提示词“拆东墙补西墙”,终于有人管了
写过提示词的兄弟们应该都懂:改一句,修好一个坏例子,回头发现之前修好的又崩了。Google 说参与者也是这么反馈的,既要费劲猜搜索词去找异常图,又总担心改一处会伤到别处。
数字上怎么样?论文第二版的摘要写的是,F1 比自动拆概念的基线(2024 年 CVPR 的 Modeling Collaborator)高 7.5%,比手动方式高出 3% 以上。
这不是翻倍的量级,是同一类 VLM、换一套流程多挣几个点。我更在意的是博客里的图注:手动调提示词那组,相对零样本基线经常没提升,甚至更差。人凭感觉改提示词,真不一定比不改强。
体验这头也有数据。参与者的工作负荷和挫败感显著更低(论文报告 p 值小于 0.05),所有人都说更喜欢 Agile Deliberation。系统里拆概念用的是 Gemini 2.5 Pro,出边界题、分类这些活交给 Gemini 2.5 Flash,重活和杂活分得挺清楚。
18 场听着多,其实只有 9 个人
这是我想泼点冷水的地方。论文交代得很清楚:招了 9 位参与者,每人做两场,一场用 Agile Deliberation,一场手动,合计 18 场,每场约 90 分钟。人是在作者所在机构内部公开招募的,没有内容审核的职业经验,每人 100 美元报酬。
测试的概念只有两个,一个是健康食物,一个是 Pay-to-Play,也就是娱乐和游戏里那些承诺误导性金钱或数字奖励的标题党图。博客里提到“专家参与者”帮系统找到了盲区,论文里的说法是流程来自对真实内容审核专家的访谈,评测却是找非专业人士。两种口径放在一起读就行,别把“专家验证过”当成结论。
研究是跟 Google Ads 合作做的(致谢里写了),第二个概念又恰好是广告审核的活儿。这套东西首先是给审核团队用的,我觉得八九不离十。
跟“直接写规则”那条路比,差在哪
说到这类“自带规则”的分类器,绕不开 OpenAI 2025 年 10 月底发的 gpt-oss-safeguard。它有 120b 和 20b 两个尺寸,Apache 2.0 协议,开发者在推理时把自己的策略文档交给模型,模型对着策略推理判断,改规则不用重训。它面向的是文本。
两条路的前提不一样。safeguard 默认你的策略已经写好了,Agile Deliberation 面对的是写不出来的阶段。一个管文本,一个管图片,没法直接拼在一起,但分工是互补的:先把规则磨清楚,再让模型去执行。
对普通开发者来说,最值得抄作业的是思路:别自己闭着眼编测试样本,让模型去挖那些“按现在的定义拿不准”的例子,你只负责裁决。想上手的话,官方给了个用“健康食物”走一遍流程的 Jupyter 演示,也能改成自己领域的概念。
AI主线接下来盯两件事:有没有人换别家的 VLM、换更多概念去复现这个提升,以及 Google 会不会把这套东西做进自己的审核产品。F1 多几个点不稀奇,能让没经验的人把规则磨清楚,才是它要证明的。