大模型越狱是什么？绕过 AI 安全限制的风险与防御

在人工智能领域，越狱（Jailbreaking）是指通过精心构造的提示，诱导大语言模型绕过开发者为它设置的安全规则和使用限制，输出它原本应该拒绝的内容。这个词借用自手机领域：“越狱”原指破除手机厂商对系统的限制。

大模型为什么有安全限制

大语言模型从海量的互联网文本中学习，其中不可避免地包含了各种有害的信息。为了防止模型被用来生成危害他人的内容，比如制造危险物品的方法、违法犯罪的指导、仇恨和歧视言论，开发者会通过安全对齐训练，让模型学会识别并拒绝这类请求，同时尽量不影响正常的使用。越狱，就是试图让这些安全措施失效。

为什么越狱有可能成功

研究者分析认为，越狱之所以可能，主要有两方面的原因。一是目标冲突：模型被训练得既要乐于助人、遵从指令，又要安全无害，当这两个目标发生冲突时，精心设计的提示可能让“遵从指令”占据上风。二是安全训练覆盖不全：模型在预训练阶段学到的能力非常广泛，而安全训练很难覆盖所有可能的情况，比如换一种不常见的表达方式、换一种语言或编码形式，就可能落在安全训练没有覆盖到的区域。

研究者还发现，有些越狱方法可以通过算法自动地生成，并且能在多个不同的模型之间迁移。这说明越狱不只是个别的漏洞，而是当前大模型技术中一个系统性的挑战。

如何防御

越狱的攻防是一个持续的过程，主要的防御手段包括：更好的安全对齐训练，让模型更深入地理解为什么某些请求是有害的，而不只是记住一些表面的拒绝规则；对抗训练，把已知的越狱样本加入训练数据，提高模型的抵抗能力；独立的检测系统，在模型之外部署专门的分类器，检测有害的输入和输出，即使模型本身被绕过，也能在输出环节拦截，Anthropic 提出的“宪法分类器”就是一个例子；红队测试，在模型发布前组织专门的团队，尽可能地尝试各种攻击方式，发现并修补漏洞；漏洞奖励计划，鼓励外部的安全研究者负责任地报告发现的越狱方法；以及对异常的使用行为进行监控，对滥用的账户采取限制措施。

对使用者的提醒

对于普通用户和开发者来说，需要了解两点：一是不应该试图越狱来获取有害的内容，这违反了几乎所有 AI 服务的使用条款，也可能触犯法律；二是在开发基于大模型的应用时，不能把模型自身的安全限制当作唯一的防线，应该在应用层面增加内容审核、权限控制等额外的保护措施。