样本空间是什么？所有可能结果或样本组成的集合

样本空间（Sample Space）这个术语在概率论和机器学习中有两种相关但不同的用法：在概率论中，它指一次随机试验所有可能结果组成的集合；在机器学习中，它常常指由数据的各个属性所构成的空间，每个样本都是其中的一个点，也就是属性空间或输入空间。

概率论中的样本空间

在概率论中，一次随机试验所有可能出现的结果所组成的集合，叫作样本空间，常用希腊字母 Ω 来表示。其中的每一个可能的结果，叫作一个样本点或基本事件。几个例子：抛一枚硬币，样本空间是{正面，反面}；掷一个骰子，样本空间是{1，2，3，4，5，6}；连续抛两次硬币，样本空间是{正正，正反，反正，反反}；测量一个人的身高，样本空间可以是所有正实数组成的区间；记录一天中网站的访问次数，样本空间是所有非负整数。

事件是样本空间的一个子集。比如掷骰子时，“掷出偶数”这个事件就是子集{2，4，6}。样本空间本身被称为必然事件，一定会发生；空集被称为不可能事件。概率则是定义在事件上的一个函数，满足概率论的基本公理：任何事件的概率都在 0 到 1 之间，样本空间的概率为 1，互不相容的事件的并集的概率等于它们各自概率之和。这一公理化的体系由苏联数学家安德雷·柯尔莫哥洛夫在 1933 年建立。正确地确定样本空间，是计算概率的第一步，很多看似违反直觉的概率问题，比如三门问题，出错的原因往往就在于没有正确地列出样本空间。

机器学习中的样本空间

在机器学习中，周志华《机器学习》等教材在介绍基本术语时，把由数据的各个属性张成的空间称为“属性空间”“样本空间”或“输入空间”。比如用色泽、根蒂、敲声三个属性来描述西瓜，就可以以这三个属性为坐标轴，构成一个三维的空间，每一个西瓜都可以在这个空间中找到自己的位置，也就是一个点。这个点的坐标就是这个西瓜的各个属性值组成的向量，所以每个样本也被称为一个“特征向量”。在实际的问题中，属性往往有成百上千甚至更多个，样本空间的维度也就非常高。

相关的几个空间

在机器学习中，样本空间常常与几个相关的概念一起出现。标记空间，也叫输出空间：所有可能的输出结果组成的集合，比如在分类问题中是所有类别的集合，在回归问题中是实数集合。学习的任务，就是建立一个从样本空间到标记空间的映射。假设空间：所有可能的模型或规则组成的集合，学习的过程可以看作在假设空间中搜索与训练数据最匹配的那个假设。样本的分布：机器学习通常假设样本空间中的全部样本服从一个未知的概率分布，我们获得的每个训练样本都是从这个分布中独立地抽取出来的，也就是独立同分布的假设。这里，概率论中的样本空间与机器学习中的样本空间就联系了起来：数据的生成过程，被看作是在样本空间上进行的随机抽样。

高维样本空间的挑战

当样本空间的维度很高时，会出现“维度灾难”：随着维度的增加，空间的体积急剧地膨胀，有限的样本在空间中变得极其稀疏，样本之间的距离也变得越来越相近，依赖距离的方法效果会下降，需要的训练数据量也会急剧增加。不过，现实中的高维数据往往集中在一个低维的流形附近，这让机器学习在高维空间中仍然有可能取得成功。降维、特征选择，以及深度学习中学习到的低维表示，都是应对高维样本空间的方法。