搜索自博弈 SSP 是什么?让搜索智能体自己出题自己练
TL;DR搜索自博弈(SSP)是阿里夸克、北京大学和中山大学在 2025 年 10 月提出的智能体训练方法,让同一个大模型交替扮演出题者和解题者,自动生成难度递增的搜索任务进行强化学习,不需要人工标注。
搜索自博弈(Search Self-play,SSP)是一种不需要人工监督的搜索智能体训练方法,由阿里巴巴夸克、北京大学和中山大学的研究人员在 2025 年 10 月提出,论文标题是《搜索自博弈:在没有监督的情况下推动智能体能力的前沿》。
问题:训练智能体需要大量好题目
基于可验证奖励的强化学习(RLVR)已经成为训练大模型智能体的主流技术。但它高度依赖精心设计的任务和对应的标准答案,才能给出准确的奖励信号。准备这些题目和答案需要大量人力,限制了强化学习的规模化,在需要多步搜索的智能体场景里尤其如此。已有一些工作尝试自动合成任务,但生成的智能体任务很难控制难度,太简单学不到东西,太难又没法给出有效的训练信号。
SSP 怎么做
SSP 借鉴了围棋 AI 的“自我对弈”思想。同一个大语言模型同时扮演两个交替的角色:出题者和解题者。出题者负责生成需要深度搜索才能回答的问题,并且问题有可以验证的标准答案,难度随着训练逐步提升;解题者则通过多轮推理和调用搜索工具,尝试回答这些问题。两者相互促进:出题者努力出更难的题,解题者努力解得更好。
一个关键的问题是如何保证出题者生成的题目本身是对的、答案是可以找到的。研究人员的办法是:把出题者在出题过程中搜索到的所有结果收集起来,作为外部材料交给解题者,检验在有充分资料的情况下,这道题能否被正确回答,以此验证每道生成题目的正确性,过滤掉有问题的题目。
意义
论文报告,SSP 在多个搜索智能体基准上显著提升了模型的表现,而且整个过程不需要人工标注的数据。这种“自己出题、自己练”的方法,为大规模训练搜索和研究类智能体提供了一条可扩展的路径。