理解极大似然估计(MLE)

极大似然估计学习时总会以为有点难以想象，为何能够这么作，什么状况才能够用极大似然估计。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。

 

1、极大似然估计的思想与举例

举个简单的栗子：在一个盒子里有白色黑色小球若干个，每次有放回地从里面哪个球，已知抽到白球的几率可能为0.7或者0.3，但不清楚，如今抽取三次，三次都没有抽到白球，请问盒子中一次抽到白球的几率是多少？

这类栗子有一个共性，咱们假设白球的几率为p，而后用它去计算已知发生的事情“三次都是黑球”使其发生的几率最大。已知p可能取值为0.7或者0.3，那咱们两个值分别计算三次抽取为黑球的几率，谁的几率大咱们就认为p的几率是多少。

p=0.3时，三次为黑球的几率 P = 0.7*0.7*0.7 = 0.342

p=0.7时，三次为黑球的几率 P = 0.3*0.3*0.3 = 0.027

可见p为0.3时事件三次抽取都为黑球发生的几率最大，因此咱们认为盒子中取到白球的几率的极大似然估计为0.3。

再举个栗子：有两个男孩和一个女孩，已知两男孩中其中一个与女孩是兄妹，通过观察发现男孩A与女孩有点像，男孩B与女孩不像，那咱们就会猜想男孩A和女孩是兄妹。

这就是用到了极大似然估计的思想，即忽略低几率，认为高几率的为真实事件，或者去估计真实事件。

 

对于连续的问题，仍是上面的小球例子，若是取到白球的几率为一个区间值[0.3, 0.7]。

求解：假设取到取到白球几率为p，则三次都为黑球的事件几率

P = （1-p)^3

P对p求导得：P' = -3(1-p)^2

令P' = 0，得p = 1,  由于 p 在[0.3, 0.7]之间，p<1时，P' < 0， 故在 p < 1区间内，函数P单调递减，因此p = 0.3时，P取到最大值。即事件发生的可能性最大，因此白球几率的极大似然估计为0.3。

 

2、总结

经过以上的分析，能够得出极大似然估计的一般解法，整体来讲分为如下几步：
一、获得所要求的极大似然估计的几率p的范围
二、以p为自变量，推导出当前已知事件的几率函数式Q(p)
三、求出能使得Q(p)最大的p
这样便求出了极大似然估计值p