多元线性回归是什么？用多个因素一起预测一个数值

多元线性回归（Multiple Linear Regression）是用多个自变量，也就是特征，来预测一个连续的因变量的线性回归方法。它假设因变量等于各个自变量分别乘以一个系数后相加，再加上一个常数项和一个随机误差。它是统计学和机器学习中最基本、使用最广泛的方法之一。

从一元到多元

最简单的线性回归只有一个自变量，叫作一元线性回归，比如只用房子的面积来预测房价，结果是平面上的一条直线。但在现实中，一个结果往往受到多个因素的影响：房价不仅取决于面积，还取决于房龄、楼层、离地铁站的距离、所在的学区等。多元线性回归同时考虑所有这些因素：房价等于面积乘以一个系数，加上房龄乘以一个系数，加上离地铁的距离乘以一个系数，以此类推，再加上一个常数项。有两个自变量时，模型对应三维空间中的一个平面；有更多的自变量时，对应的是一个高维空间中的超平面。

如何求解

求解多元线性回归，就是找到一组系数，让模型的预测值与真实值之间的误差尽可能小。最常用的方法是最小二乘法：让所有样本预测误差的平方和最小。用矩阵的形式表示，最优的系数有一个解析解，可以直接计算出来，这叫作正规方程。当特征数量很多或者数据量很大时，直接计算可能比较慢，也可以用梯度下降等迭代的方法来求解。

如何解读系数

多元线性回归的一个重要优点是可解释性强。每个自变量的系数表示：在其他所有自变量保持不变的情况下，这个自变量每增加一个单位，因变量平均会变化多少。比如房龄的系数是负 0.5 万元，意思是在面积、位置等其他条件都相同的情况下，房龄每增加一年，房价平均降低 0.5 万元。这种“控制其他变量不变”的解读，是多元回归相比于简单地分别看每个因素与结果之间关系的重要优势：它能够分离出每个因素各自独立的影响。

需要注意的问题

多重共线性：如果几个自变量之间高度相关，比如“面积”和“房间数”往往同时变大，模型就很难区分它们各自的影响，估计出的系数会变得很不稳定，数据稍有变化系数就可能大幅改变，甚至出现与常识相反的正负号。可以通过计算方差膨胀因子来检测，并通过删除冗余的变量或使用正则化来缓解。模型的假设：经典的多元线性回归假设因变量与自变量之间是线性的关系，误差相互独立、方差恒定，并且服从正态分布。如果这些假设不成立，系数的显著性检验和置信区间可能不可靠，需要通过分析残差来检查。遗漏变量：如果遗漏了一个既影响结果、又与某个自变量相关的重要因素，那么这个自变量的系数就会把遗漏变量的影响也包含进去，导致有偏差的结论。相关不等于因果：回归系数反映的是统计上的关联，要得出因果的结论，需要谨慎的研究设计。

改进和扩展

当特征很多或者存在共线性时，常使用正则化的方法：岭回归加入了 L2 正则化，让系数更稳定；Lasso 回归加入了 L1 正则化，能让部分系数变为零，自动地进行特征选择；弹性网络结合了两者。如果自变量与因变量之间是非线性的关系，可以加入多项式项或交互项，或者使用更灵活的非线性模型。多元线性回归被广泛用于经济学、医学、社会科学的研究，以及销量预测、价格评估等实际问题中，也常作为更复杂模型的基线。