大模型黑盒优化器是什么？让 AI 自动改写提示词来优化视觉模型

大语言模型黑盒优化器是一种让 AI 自动优化提示词的方法，由卡内基梅隆大学（CMU）的研究人员在 2024 年提出，论文标题是《语言模型作为视觉语言模型的黑盒优化器》。它通过大语言模型自动调整自然语言提示词，来优化视觉语言模型在文生图、视觉识别等多个下游任务中的表现。

什么是“黑盒”

很多强大的视觉语言模型和图像生成模型，只能通过 API 使用：你只能给它输入、看它的输出，看不到也改不了它内部的参数，这就是“黑盒”。传统的模型优化方法，比如微调，需要访问模型的参数和梯度，对这类黑盒模型无能为力。而且对于一般用户来说，微调本身的技术门槛和成本也很高。但这些模型的表现，很大程度上取决于你给它的提示词怎么写：同一个分类任务，换一种描述类别的方式，准确率可能差别很大。

怎么做

这项研究的思路是：既然模型内部改不了，那就优化它的输入，也就是提示词；而且让另一个大语言模型来负责优化。具体过程像一场对话：先给出一个初始的提示词，用它去调用视觉语言模型完成任务，比如在一小批样本上做图像分类，记录准确率；然后把提示词和它取得的效果反馈给一个大语言模型（比如 ChatGPT），让它分析哪些提示词效果好、哪些效果差，再提出改进后的新提示词；用新提示词再测试，再反馈，如此反复迭代。研究者发现，同时给大语言模型看效果好的和效果差的提示词，让它进行对比，优化效果更好。

这种方法完全不需要接触模型的内部参数，只通过自然语言的交互进行，因此非常灵活，可以用于各种只提供 API 的模型。

效果

论文报告，在小样本图像分类任务上，这种方法比白盒的连续提示词优化方法效果更好，并且优化出的提示词是可读的自然语言，可以迁移到其他模型上使用。研究者还把它用于优化文生图模型的提示词，生成更符合要求的图像。它让即使没有技术背景的用户，也能借助 AI 来提升模型的效果。