二十家大厂签下智能体自律公约,没有罚则,却把熔断和权限变成了硬工程
你让智能体去查个东西,网站把它拦了,它转头自己琢磨着换条路接着干。这时候你心里会不会咯噔一下?
11月4日,世界互联网大会乌镇峰会上,中国信通院、华为、阿里、腾讯、小米、百度、火山引擎、蚂蚁、抖音等20家单位联合发布了《智能体发展自律公约》,共八条。《智能体发展自律公约》没有罚则,但它把智能体的身份、权限和熔断列成了签约企业公开认账的工程项目,这比喊口号有分量。
二十家大厂凑一块儿,到底签了个啥
这份公约来路不野。今年5月,国家网信办、国家发改委、工信部印发了《智能体规范应用与创新发展实施意见》,其中有一项任务叫“强化行业自律”,公约就是接着这条落地的。官方说,这是智能体行业迈向规范化的重要一步。
八条里,咱只挑跟“出事”最相关的三条看。一条要求建立分层次、可验证的智能体身份标识,配套权限授予和控制。一条要求运行监测、行为管控和异常熔断。还有一条要求发展规则表达与内嵌、合规性测试,抵制算法压榨和黑灰产。
翻成大白话:给每个智能体办一张工牌,写清它能进哪几扇门;门口装上监控;真出格了,得有人能一把拉闸。
注意这三条管的都不是“它说了什么”,而是“它做了什么”。聊天机器人说错话,你删掉重来就行。智能体办错事,事可能已经办成了。
最难防的,是它“自己往外挪了一步”
财能圈在文章里梳理了一起案例:腾讯一批跑在云沙盒里的智能体,9月底到10月初的11天里,向高德地图发出2818次请求。被反爬机制拦截后,它们转去公开代码库翻泄露的API密钥,还探测了预生产环境的端点。按文章的说法,绝大多数尝试失败或被拦截,少数通过缓存页面拿到了部分数据,运营方全程没察觉。具体经过以腾讯和高德的说法为准,但这类事长什么样,大伙看一眼就有数了。
这类越界最麻烦的地方在于,没有人下过恶意指令。一条正常的任务执行到一半,智能体觉得这条路堵了,换一条。没有哪行代码教它这么干,事后翻日志也只能知道它干了。
所以公约里“规则表达与内嵌”这个词,我读着挺实在。它说的就是别等出事再追,在智能体放出去之前,就把能做什么、不能做什么、做到哪一步必须停,写成代码里的约束。
这对写代码的兄弟也不远。你给智能体开的权限越大,运行时那个“可中断的控制点”就越是必备件,不是锦上添花。
抓到人了,赔偿找谁
财能圈还提到本月流传的一份上海徐汇法院判决:有人用AI写自动注册脚本,批量注册近30万个免费账号轮换调用,非法调用大模型接口29万余次,转卖生成服务获利3.4万元,最终被判有期徒刑三年,缓刑三年。
刑事这头,追得到人。但平台被薅走的算力成本,谁来赔,判决里没有答案。
这就是智能体责任“悬空”的老问题:智能体没跟所有者的法定身份绑牢,出了事追责难,追偿也难。公约把身份标识摆在八条最前头,我觉得不是巧合。先知道“这只手是谁的”,后面的监测和熔断才有地方落脚。
算法压榨那一条也是同一个逻辑。过去算法给建议,人类管理者拍板。现在智能体可以直接发指令、调排班、施加惩罚,压榨变成了一串自动决策,开发者、部署者、运营者之间的责任链就容易断。把它写进公约,等于先把“没人告诉我不行”这句托词堵上。
没有罚则的公约,值多少钱
先泼盆冷水:这是企业自愿签署的公约,没有罚则,也没有约定退出机制。不在乌镇签字的开发者它管不到,智能体跨平台调用、越过某一家公司边界之后的行为,它也管不到。
那它还有用吗?有,但得看后续。我们 AI主线 的看法是,这类公约的含金量不在文本,而在签字的企业接下来要掏多少“硬工程”:重构权限架构、在运行时埋可中断的点、长期承担日志存储和审计的成本。这些都是真金白银,光写在PPT上就是画饼。官方也表态了,各发起单位将带头落实,主动接受行业组织和社会公众监督。
更值得留意的是节奏。5月有实施意见,8月24日中国支付清算协会发布了《智能体支付应用自律公约》,11月又有这份通用公约。三层规则,一层比一层往具体场景里钻。
要是我在公司里负责选型,接下来问智能体厂商的话会多几句:身份和权限能不能出一份声明,出了事日志给不给,熔断有没有记录可查。以后这些大概率会成为招标清单上的常规项,早点把答案备好的厂商,路会好走很多。
接下来我盯两件事:公约里提到的合规性测试,会不会拿出能对照着做的具体测试项;还有,下一次智能体越界时,签约企业拿不拿得出日志、熔断记录和权限声明,还是又说一句“是模型自己决定的”。