WISE 是什么？让大模型持续修正知识又不忘旧知识的编辑方法

WISE 是一种对大模型进行终身知识编辑的方法，由浙江大学的研究团队在 2024 年提出，论文标题是《WISE：重新思考大语言模型终身模型编辑的知识记忆》，被 NeurIPS 2024 接收。它旨在应对大模型中的幻觉问题，提升模型对知识进行持续修正的能力。

什么是知识编辑

大模型在训练后，知识就固定了。但世界在变化，模型的知识会过时；模型也可能记错了一些事实，产生幻觉。重新训练整个模型来修正几个错误，代价太高。知识编辑就是一种“精准修改”的技术：在不重新训练的情况下，直接修改模型中某些特定的知识，比如把“某国现任总统是 A”改成“B”，同时尽量不影响模型的其他知识和能力。

“终身编辑”是更难的要求：模型上线后，需要随着时间不断地接受成百上千次修改。研究发现，很多已有的方法在少量编辑时有效，但随着编辑次数增多，要么新的修改覆盖了旧的修改，要么模型的通用能力逐渐被破坏。

一个“不可能三角”

论文指出，终身知识编辑面临一个三难困境：可靠性，修改要准确生效；泛化性，修改后的知识在换一种问法时也要生效；局部性，不相关的知识不能被改坏。研究者分析认为，以往的方法要么把编辑写进模型的长期记忆，也就是直接修改原始参数，容易破坏其他知识；要么放在工作记忆中，比如检索外部的修改记录，又难以泛化。它们很难同时兼顾这三点。

WISE 的双参数记忆

WISE 模仿人类的记忆机制，设计了双参数记忆：主记忆保存模型原本的预训练知识，保持不变；侧记忆专门存放编辑后的新知识，是模型中某一层的一份独立的参数副本。推理时，一个路由机制会判断当前的问题是否涉及被编辑过的知识：如果涉及，就使用侧记忆；如果不涉及，就使用主记忆。此外，为了支持大量的连续编辑，WISE 把不同的编辑分散存放到侧记忆的不同参数子空间中，避免相互冲突，再在需要时把它们合并起来。

效果

论文报告，在问答、幻觉修正和分布外泛化等终身编辑的实验中，WISE 在多种大模型上都优于已有的编辑方法，在大量连续编辑后仍能同时保持可靠性、泛化性和局部性。