最大似然估计（MLE）与最大后验几率（MAP）

• 何为：最大似然估计（MLE）：

最大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。能够经过采样，获取部分数据，而后经过最大似然估计来获取已知模型的参数。

最大似然估计是一种统计方法，它用来求一个样本集的相关几率密度函数的参数。利用已知的样本结果，反推最有可能（最大几率）致使这样结果的参数值。

最大似然估计中采样需知足一个很重要的假设，就是全部的采样都是独立同分布（i.i.d）的。

最大似然估计的通常求解过程：

　　（1） 写出似然函数；

　　（2） 对似然函数取对数，并整理；

　　（3） 求导数 ；

　　（4） 解似然方程。

 

• 何为：最大后验几率（MAP）：

最大后验估计是根据经验数据得到对难以观察的量的点估计。

与最大似然估计相似，可是最大的不一样是，最大后验估计融入了要估计量的先验分布在其中。

故最大后验估计能够看作规则化的最大似然估计。

 

• 什么状况下，MAP=ML？

当模型的参数自己的几率是均匀的，即该几率为一个固定值的时候，两者相等。

 

当先验分布均匀之时，MAP 估计与 MLE 相等。下图是均匀分布的一个实例。

咱们能够看到均匀分布给 X 轴（水平线）上的每一个值分布相同的权重。直观讲，它表征了最有可能值的任何先验知识的匮乏。在这一状况中，全部权重分配到似然函数，所以当咱们把先验与似然相乘，由此获得的后验极其相似于似然。所以，最大似然方法可被看做一种特殊的 MAP。

 

【Reference】

[1] 从最大似然估计开始，你须要打下的机器学习基石

[2] Probability concepts explained: Maximum likelihood estimation