统计学习是什么？用统计方法从数据中学习规律

统计学习（Statistical Learning）是基于数据构建概率统计模型，并运用模型对数据进行预测与分析的一门学科。它是统计学和计算机科学交叉形成的领域，也是机器学习的重要理论基础。在很多场合，“统计学习”和“统计机器学习”甚至“机器学习”几乎被当作同义词使用。

统计学习研究什么

统计学习的对象是数据。它从数据出发，提取数据中的特征，抽象出数据的模型，发现数据中的知识，再回到对数据的分析与预测中去。它有一个基本的假设：同一类数据具有一定的统计规律性，比如一个城市的房价和面积、地段之间存在某种规律，虽然每一套房子的价格都有随机的波动，但整体上遵循一定的模式，这让我们可以用概率统计的方法来描述和学习这些规律。

李航在《统计学习方法》一书中总结了统计学习方法的三个要素：模型，也就是要学习的是什么样的函数或概率分布，比如线性函数、决策树；策略，也就是用什么标准来评价模型的好坏，通常是定义一个损失函数，选择让损失最小的模型；算法，也就是用什么具体的计算方法来找到最好的模型，比如梯度下降。

主要的类型

监督学习：从带有标签的数据中学习输入和输出之间的关系，用来预测新数据的输出。包括预测类别的分类问题，以及预测数值的回归问题。常见的方法有线性回归、逻辑回归、决策树、支持向量机、K 近邻等。无监督学习：从没有标签的数据中发现内在的结构，比如聚类、降维、密度估计。此外还有介于两者之间的半监督学习，以及通过与环境交互来学习的强化学习。

核心问题：泛化

统计学习最关心的问题是泛化能力：模型在训练数据上表现得好还不够，更重要的是在从未见过的新数据上也能表现得好。围绕这个问题，统计学习发展出了一系列重要的概念和方法：过拟合与欠拟合、偏差-方差权衡、正则化、交叉验证、模型选择等。

统计学习理论

20 世纪 60 年代到 90 年代，苏联数学家弗拉基米尔·瓦普尼克（Vladimir Vapnik）和阿列克谢·切尔沃年基斯（Alexey Chervonenkis）建立了统计学习理论，为“机器为什么能从有限的数据中学习”提供了严格的数学基础。其中的 VC 维概念用来衡量一类模型的复杂程度，并给出了泛化误差的理论上界；结构风险最小化原则指出，要在模型对训练数据的拟合程度和模型的复杂度之间取得平衡。基于这一理论，瓦普尼克等人在 20 世纪 90 年代提出了支持向量机，它在深度学习兴起之前是最受欢迎的机器学习方法之一。

经典教材

斯坦福大学的 Trevor Hastie、Robert Tibshirani 和 Jerome Friedman 所著的《统计学习要素》，以及面向入门读者的《统计学习导论》，是这一领域广为流传的经典教材；中文领域则有李航的《统计学习方法》，对国内机器学习的教学和普及影响很大。深度学习兴起之后，很多实际应用转向了神经网络，但统计学习的理论和方法仍然是理解机器学习的基础，在表格数据分析和需要可解释性的领域依然被大量使用。