AI 幻觉是什么？大模型一本正经地说错话

在人工智能领域，幻觉（Hallucination）是指 AI 生成的回应中，包含了被当作事实呈现的虚假或误导性信息，也被称为虚构或“一本正经地胡说八道”。通俗地说，就是模型生成的内容与现实世界的事实不符，或者与用户提供的信息相矛盾，而模型却说得头头是道、语气十分肯定。

常见的幻觉表现

编造事实：给出错误的日期、数字、人物关系或历史事件，比如张冠李戴地把某项发明归功于错误的人。虚构来源：引用根本不存在的论文、书籍、法律条文或网址，而且格式看起来非常像真的。曾有律师在法庭文件中引用了 AI 编造的判例而受到处罚。捏造细节：在总结一篇文章时，加入了原文中并没有提到的内容。与上下文矛盾：回答与用户刚刚提供的资料不一致，或者前后自相矛盾。多模态模型中，还有“视觉幻觉”：描述图片中根本不存在的物体或细节。

为什么会产生幻觉

大语言模型的工作原理决定了它容易产生幻觉。它本质上是在根据训练中学到的语言规律，预测“最可能接下来出现的词”，而不是在一个可靠的知识库中查找事实。它擅长生成流畅、合理、“听起来对”的文字，但“听起来对”和“事实上对”并不是一回事。具体的原因包括：训练数据中本身就存在错误、过时或相互矛盾的信息；模型对一些冷门的知识掌握得不牢固，记忆模糊时就会“合理地”补全；模型的知识有截止日期，对之后发生的事情一无所知；训练和评测方式往往鼓励模型给出答案，而不是承认“我不知道”，研究者指出，就像考试中瞎猜也可能得分，模型也被训练得倾向于猜测而不是放弃回答；以及长文本中注意力分散、推理链条中的错误累积等。

如何减少幻觉

检索增强生成（RAG）：先从可靠的知识库或搜索引擎中检索相关的资料，再让模型基于这些资料回答，并标注出信息的来源，方便核实。这是目前最常用的方法。训练模型承认不确定：通过训练，让模型在不知道答案时说“我不确定”，而不是编造。在训练中奖励诚实、惩罚自信的错误。工具调用：让模型通过调用计算器、代码执行、数据库查询等工具获取准确的信息，而不是凭记忆。自我检查和验证：让模型对自己的回答进行核查，或者生成多个回答进行比对。提示词设计：要求模型只根据提供的资料回答，资料中没有的就说不知道。

需要注意的是，幻觉目前还无法被完全消除。在涉及医疗、法律、金融等重要的领域，以及需要引用具体数据和来源的场合，对 AI 生成的内容必须进行人工核实，不能完全依赖。