抽样是什么？从总体中挑出一部分来推断整体

抽样（Sampling）是统计学中的一个基本概念，指从研究对象的全体，也就是总体中，按照一定的方法选取一部分个体作为样本，再通过研究样本来推断总体的特征。在机器学习和人工智能中，抽样也有很多重要的应用。

为什么要抽样

在很多情况下，对总体中的每一个个体都进行调查或测量是不现实的：成本太高，比如要了解全国居民的收入情况，不可能调查每一个人；时间太长；有些测量具有破坏性，比如检测灯泡的寿命，必须把灯泡用到坏为止，不可能把所有产品都测一遍。通过科学的抽样，只研究一小部分样本，就能以可以接受的误差估计出总体的情况。民意调查、产品质量检验、市场调研、人口普查中的抽样调查，都是抽样的典型应用。

常见的抽样方法

简单随机抽样：总体中的每一个个体被选中的机会都相等，就像抽签一样。它是最基本的抽样方法。分层抽样：先把总体按照某些特征分成若干个层，比如按年龄段、地区、性别，然后在每一层内分别进行随机抽样。这样可以保证各个群体在样本中都有代表，当各层之间差异较大时，比简单随机抽样更准确。整群抽样：把总体分成许多个群，比如学校、社区，然后随机地抽取若干个群，对选中的群中的所有个体进行调查。它实施起来方便、成本低，但如果群与群之间差异较大，误差可能较大。系统抽样：把总体中的个体按一定顺序排列，随机选择一个起点，然后每隔固定的间隔抽取一个个体，比如每隔 100 个抽一个。

抽样中的偏差

抽样的关键是样本要具有代表性。如果抽样的方法有问题，样本就可能不能代表总体，导致错误的结论，这叫抽样偏差。一个著名的例子是 1936 年美国总统大选的预测：《文学文摘》杂志通过电话簿和汽车登记名单寄出了大量调查问卷，预测共和党候选人兰登会大胜，结果罗斯福以压倒性优势获胜。原因是在当时，拥有电话和汽车的多是较富裕的人，他们的政治倾向与普通选民不同，样本虽然很大，却并不具有代表性。而盖洛普用规模小得多但更科学的抽样方法，正确地预测了结果。这说明样本的代表性往往比样本的数量更重要。

在机器学习中的应用

划分数据集：把数据随机地划分为训练集、验证集和测试集；对于类别不平衡的数据，常使用分层抽样，保证每个子集中各类别的比例与原始数据一致。处理类别不平衡：通过过采样增加少数类的样本，或者通过欠采样减少多数类的样本。自助法：有放回地从训练集中反复抽样，生成多个不同的训练集，用于估计模型的不确定性，随机森林中的 Bagging 方法就基于此。小批量训练：随机梯度下降在每一步随机抽取一小批样本来计算梯度。大模型的文本生成：大语言模型在生成文字时，每一步都会给出下一个词的概率分布，然后从中“采样”出一个词。常用的采样策略包括调节温度、只从概率最高的若干个词中采样的 Top-k 采样，以及从累计概率达到一定阈值的词中采样的 Top-p 采样。这些参数控制着生成内容的随机性和创造性。此外，马尔可夫链蒙特卡罗等方法用于从复杂的概率分布中抽样。