参数估计是什么？用样本数据推算总体或模型的未知参数

参数估计（Parameter Estimation）是统计学中根据观测到的样本数据，推断概率模型中未知参数取值的方法。比如想知道全国成年男性的平均身高，不可能测量每一个人，只能抽取一部分人测量，再用这些数据去估计全体的平均身高，这里的“平均身高”就是一个需要估计的参数。

点估计和区间估计

点估计：用一个具体的数值作为参数的估计。比如根据抽样的结果，估计全国成年男性的平均身高为 171 厘米。区间估计：给出一个参数可能所在的范围，并说明这个范围有多大的把握包含真实的参数。比如“有 95% 的把握认为平均身高在 170.5 到 171.5 厘米之间”，这个区间叫作置信区间。区间估计不仅给出了估计值，还反映了估计的不确定程度：样本越多，区间通常越窄，估计越精确。

常用的点估计方法

矩估计：由卡尔·皮尔逊在 19 世纪末提出，思路是用样本的矩，比如样本均值、样本方差，去估计总体相应的矩，再由此解出参数。它简单直观，但在一些情况下效率不高。极大似然估计：由罗纳德·费希尔系统发展，选择让观测数据出现的可能性最大的参数值作为估计。它在大样本下具有很好的性质，是最常用的估计方法。最大后验估计：在极大似然的基础上，引入参数的先验分布，选择让后验概率最大的参数值。它相当于在极大似然估计中加入了正则化，在数据较少时更加稳健。贝叶斯估计：不只给出一个最优的参数值，而是得到参数的整个后验分布，可以用后验分布的均值作为点估计，也可以直接用后验分布来描述参数的不确定性。

如何评价一个估计好不好

无偏性：估计值的期望等于真实的参数，也就是说，如果反复地抽样和估计，估计值的平均会等于真实值，没有系统性的偏高或偏低。比如样本均值是总体均值的无偏估计；而计算样本方差时除以样本数量 n 得到的是有偏估计，除以 n 减 1 才是无偏的。有效性：在无偏的估计中，方差越小的越好，也就是估计值的波动越小、越稳定。一致性：随着样本数量的增加，估计值会越来越接近真实的参数。此外，有时为了降低方差，会有意地接受一点偏差，这就是偏差与方差之间的权衡。

与机器学习的关系

机器学习中“训练模型”的过程，本质上就是在进行参数估计：模型的权重就是需要估计的参数，训练数据就是观测样本。最小化交叉熵损失、均方误差等常用的训练方法，在很多情况下都等价于极大似然估计；加入 L2 正则化等价于最大后验估计；贝叶斯神经网络则尝试估计权重的完整后验分布，以量化模型预测的不确定性。不同的是，机器学习中的模型往往有成千上万甚至数千亿个参数，通常无法求出解析解，需要用梯度下降等优化方法来迭代地求解。