概念漂移是什么？数据的规律随时间变了，模型就过时了

概念漂移（Concept Drift）是指数据流的统计属性随时间发生变化，导致已经训练好的模型与当前的数据分布不再匹配的现象。它可能以多种方式发生，比如引入了新的影响因素、现有因素的重要性发生了改变，或者各因素之间的关系发生了变化。简单地说，就是“世界变了，模型却还停留在过去”。

一个例子

假设一家电商平台训练了一个预测用户购买意向的模型，用的是过去两年的数据，效果很好。但一场突发的疫情改变了人们的生活方式：线上购物激增，口罩、消毒用品、居家健身器材的需求暴涨，而旅行箱、正装的需求骤减。用户的购买行为模式发生了根本性的变化，基于疫情之前数据训练的模型，预测效果就会大打折扣。再比如，信用卡欺诈检测模型：欺诈分子会不断变换手法来逃避检测，昨天有效的识别规律，今天可能就失效了。

漂移的几种形式

从变化的内容来看，常区分两种情况：数据漂移，也叫协变量漂移，是输入数据本身的分布变了，比如用户群体的年龄结构变了，但输入和结果之间的关系没变；真正的概念漂移，是输入和目标之间的关系变了，比如同样的用户特征，以前意味着会购买，现在却不再意味着会购买。

从变化的方式来看：突变，在某个时间点突然发生的剧烈变化，比如新政策出台、疫情暴发；渐变，缓慢、逐步发生的变化，比如用户的口味随着潮流慢慢改变；周期性变化，规律会周期性地反复出现，比如季节性的消费模式、节假日的变化；以及偶发的异常波动。

为什么要重视

大多数机器学习模型隐含着一个假设：训练时的数据和将来使用时的数据来自同样的分布。但在现实世界中，这个假设常常被打破。如果不加以处理，模型上线后的效果会悄悄地、持续地下降，而人们可能很久之后才发现，到那时可能已经造成了损失。这在金融风控、推荐系统、广告投放、需求预测、网络安全、医疗等领域尤其常见。

如何应对

持续监控：模型上线后，持续追踪它的预测准确率，以及输入数据和预测结果的分布变化，一旦发现明显的偏移就发出警报。有很多统计方法和工具可以用来检测漂移。定期重新训练：用最新的数据定期重新训练或更新模型，比如每周、每月更新一次。增量学习和在线学习：让模型能够在新数据到来时持续地小步更新，而不必每次都从头训练。给近期的数据更高的权重：在训练时更重视最近的数据，因为它们更能反映当前的规律。概念漂移是机器学习运维中需要长期关注的核心问题之一。对于大语言模型来说，世界知识的不断更新，也是一种广义的漂移，需要通过检索增强、持续训练等方式来应对。