D-MoLE 是什么？让多模态大模型持续学新任务而不忘旧知识

课程 LoRA 专家动态混合（Dynamic Mixture of Curriculum LoRA Experts，D-MoLE）是一种让多模态大模型持续学习新任务的方法，由阿里巴巴集团安全部交互内容安全团队和清华大学在 2025 年 6 月提出，论文标题是《面向持续多模态指令微调的课程 LoRA 专家动态混合》，被 ICML 2025 收录。

持续学习的老难题：学新忘旧

现实中，模型上线后常常需要不断学习新的任务：今天加一个识别新类型违规内容的能力，明天加一个处理新格式文档的能力。但神经网络有一个经典问题叫“灾难性遗忘”：用新任务的数据微调后，模型往往会明显忘掉之前学会的东西。持续学习研究的就是如何让模型不断学新的，同时不忘旧的。对多模态大模型来说，这个问题更复杂：新任务对视觉部分和语言部分的需求往往不一样，有的任务主要考验看图，有的主要考验语言理解。

D-MoLE 的三个要素

LoRA：只训练少量的低秩适应参数，而不改动原模型的主体，节省资源。专家混合：为不同的任务分配不同的 LoRA 专家模块，新任务用新专家，旧任务的专家保留下来，从结构上减少新旧任务之间的干扰；推理时由路由机制决定该用哪些专家。课程学习：根据任务的难度和特点来安排学习方式。

D-MoLE 的“动态”体现在：它会根据每个新任务的特点，在有限的参数预算下，动态决定在模型的哪些层、在视觉还是语言部分添加新的 LoRA 专家，把参数用在最需要的地方，而不是每次都在所有层平均加参数。它还会评估新任务对不同模态的难度，平衡视觉和语言两部分的更新，避免某一部分学得过多、另一部分学得不足。

效果

论文报告，在持续多模态指令微调的基准上，D-MoLE 在学会新任务的同时，显著减少了对旧任务的遗忘，整体表现明显优于已有的持续学习方法，而且使用的参数量更少。对于需要不断迭代能力的线上 AI 系统，比如内容安全审核，这类方法能降低每次升级的成本和风险。