独立同分布是什么？机器学习里最常见也最容易被违反的假设

独立同分布（Independent and Identically Distributed，常缩写为 i.i.d.）是概率论和统计学中的一个基本概念，也是机器学习中最核心的假设之一。它包含两层意思：“独立”指每个样本的出现不受其他样本的影响；“同分布”指所有样本都来自同一个概率分布。

一个直观的例子

反复抛同一枚硬币就是一个独立同分布的例子：每一次抛掷的结果不受之前的影响，这是独立；每一次正面朝上的概率都相同，这是同分布。反过来，如果你从一副牌中一张张地抽牌而不放回，每抽走一张牌，剩下的牌就变了，后面的结果受前面的影响，就不是独立的；如果你一会儿抛这枚硬币、一会儿抛另一枚不均匀的硬币，结果就不是同分布的。

为什么机器学习需要这个假设

机器学习的基本思路是：从训练数据中学到规律，再把它用到新的数据上。这要能成立，有一个前提：训练数据和将来遇到的数据，必须来自同一个分布。如果训练用的是一种情况，实际用的是另一种情况，学到的规律就可能失效。独立性也很重要：很多理论结果，比如训练误差会随着样本增多而接近真实误差、泛化误差的上界、交叉验证的有效性，都是在样本相互独立的前提下推导出来的。周志华《机器学习》在介绍基本术语时就指出，通常假设样本空间中的全体样本服从一个未知的分布，获得的每个样本都是独立地从这个分布上采样得到的，即“独立同分布”，一般而言训练样本越多，得到的关于这个分布的信息越多，就越有可能通过学习获得具有强泛化能力的模型。

现实中这个假设经常被违反

时间上的相关：股价、天气、网站流量等时间序列数据，今天的值与昨天密切相关，样本并不独立；而且规律会随时间变化，过去的分布不等于未来的分布。分组聚集：同一个病人的多次检查、同一个用户的多次购买、同一个人的多张照片，彼此高度相似，并不独立。分布漂移：模型上线后，用户的行为、市场的环境、数据采集的方式都可能改变，导致实际数据的分布与训练时不同，这叫概念漂移或数据漂移。采样偏差：训练数据的收集方式本身可能有偏差，比如只收集了某个地区、某个时间段或某类人群的数据，不能代表实际使用的全部人群。领域差异：在一家医院的数据上训练的模型，用到另一家医院可能效果变差，因为设备、人群、流程都不一样。

如何应对

正确地划分数据：对时间序列，用过去的数据训练、未来的数据测试，不能随机打乱；对分组数据，确保同一组的样本只出现在训练集或测试集之一，比如按病人或按用户来划分，否则测试结果会过于乐观。持续监控：模型上线后，监控输入数据和预测结果的分布是否发生了变化，必要时重新训练。领域自适应和迁移学习：研究如何把在一个分布上学到的知识迁移到另一个分布上。分布外泛化：研究如何让模型在训练时没见过的分布上也能表现良好。重要性加权：当训练分布和目标分布不同时，给训练样本重新赋权，让它们更符合目标分布。认识到独立同分布只是一个假设，并在实际中检查它是否成立，是可靠地应用机器学习的重要一步。