估计、误差和方差

• 本文首发自公众号：RAIS

前言

本系列文章为 《Deep Learning》 读书笔记，能够参看原书一块儿阅读，效果更佳。

估计

统计的目的是为了推断，大量的统计是为了更好的推断，这就是一种估计，一种根据现有信息对可能性的一种猜想。

• 点估计：点估计指的是用样本数据估计整体的参数，估计的结果是一个点的数值，所以叫作点估计。这个定义很是宽泛，$\hat{\theta}_m=g(x_1, x_2, ..., x_m)$，其中几乎对 g 没有什么限制，只是说比较好的 g 会接近真实的 θ。
• 函数估计：是一种映射关系，如 $y=f(x)+ϵ$，其中 ϵ 是从 x 中预测不出来的，咱们不关心，咱们关心的是函数估计 f，函数估计是一种从输入到输出的映射关系。

误差

估计的误差定义为：$bias(\hat{\theta}_m)=E(\hat{\theta_m})-\theta$，这很好理解，估计与实际值之间的距离就是误差，若是误差为 0，则$\hat{\theta}$是$\theta$的无偏估计，若是在 m 趋近于无穷大时，误差趋近于 0，则$\hat{\theta}$是$\theta$的渐进无偏。

方差

上面咱们用估计量的指望来计算误差，咱们还能够用估计量的方差度量估计的变化程度，咱们但愿指望这两个值都较小。

对于高斯分布来讲，咱们有：

• 样本均值 $\hatμ_m=\frac{1}{m}\sum_{i=1}^mx^{(i)}$ 是高斯均值参数 μ 的无偏估计;
• 样本方差 $\hatσ_m^2=\frac{1}{m}\sum_{i=1}^m(x^{(i)}-\hatμ_m)^2$ 是 $σ^2$ 的有偏估计；
• 无偏样本方差 $\hatσ_m^2=\frac{1}{m-1}\sum_{i=1}^m(x^{(i)}-\hatμ_m)^2$ 是 $σ^2$ 的无偏估计；

无偏样本方差显然是比较不错的，可是并不老是最好的，有时候某一些有偏估计也是很好的。好比在机器学习中，均值标准差就很是有用：

$$ SE(\hatμ_m)=\sqrt{Var[\frac{1}{m}\sum_{i=1}^mx^{(i)}]}=\frac{σ}{\sqrt{m}} $$

或者写成

$$ σ_{\overline X}=\sqrt{Var(\overline X)}=\sqrt{\frac{1}{m}Var(X)}=\frac{σ}{\sqrt{m}} $$

均方偏差（MSE）

$$ MSE=E[(\hatθ_m-θ)^2]=Bias(\hatθ_m)^2+Var(\hatθ_m) $$

鱼和熊掌不可得兼，误差和方差度量着估计量的两个不一样偏差来源，误差度量着偏离真实函数或参数的偏差，方差度量着数据上任意特定采样可能致使的估计指望的误差，两个估计，一个误差大，一个方差大，怎么选择？选择 MSE 较小的，由于 MSE 是用来度量泛化偏差的。误差和方差之和就是均方偏差：

总结

本篇主要介绍了估计、误差和方差，能够用来正式的刻画过拟合。

• 本文首发自公众号：RAIS