极大似然估计详解
极大似然估计
之前屡次接触过极大似然估计，但一直都不太明白到底什么原理，最近在看贝叶斯分类，对极大似然估计有了新的认识，总结以下：函数
贝叶斯决策
首先来看贝叶斯分类，咱们都知道经典的贝叶斯公式：学习
其中：p(w)：为先验几率，表示每种类别分布的几率；：类条件几率，表示在某种类别前提下，某事发生的几率；而为后验几率，表示某事发生了，而且它属于某一类别的几率，有了这个后验几率，咱们就能够对样本进行分类。后验几率越大，说明某事物属于这个类别的可能性越大，咱们越有理由把它归到这个类别下。spa
咱们来看一个直观的例子：已知：在夏季，某公园男性穿凉鞋的几率为1/2，女性穿凉鞋的几率为2/3，而且该公园中男女比例一般为2:1，问题：若你在公园中随机遇到一个穿凉鞋的人，请问他的性别为男性或女性的几率分别为多少？.net
从问题看，就是上面讲的，某事发生了，它属于某一类别的几率是多少？即后验几率。3d
设：blog
由已知可得：图片
男性和女性穿凉鞋相互独立，因此get
（若只考虑分类问题，只须要比较后验几率的大小，的取值并不重要）。io
由贝叶斯公式算出：function
问题引出
可是在实际问题中并不都是这样幸运的，咱们能得到的数据可能只有有限数目的样本数据，而先验几率和类条件几率(各种的整体分布)都是未知的。根据仅有的样本数据进行分类时，一种可行的办法是咱们须要先对先验几率和类条件几率进行估计，而后再套用贝叶斯分类器。
先验几率的估计较简单，一、每一个样本所属的天然状态都是已知的（有监督学习）；二、依靠经验；三、用训练样本中各种出现的频率估计。
类条件几率的估计（很是难），缘由包括：几率密度函数包含了一个随机变量的所有信息；样本数据可能很少；特征向量x的维度可能很大等等。总之要直接估计类条件几率的密度函数很难。解决的办法就是，把估计彻底未知的几率密度转化为估计参数。这里就将几率密度估计问题转化为参数估计问题，极大似然估计就是一种参数估计方法。固然了，几率密度函数的选取很重要，模型正确，在样本区域无穷时，咱们会获得较准确的估计值，若是模型都错了，那估计半天的参数，确定也没啥意义了。
重要前提
上面说到，参数估计问题只是实际问题求解过程当中的一种简化方法（因为直接估计类条件几率密度函数很困难）。因此可以使用极大似然估计方法的样本必须须要知足一些前提假设。
重要前提：训练样本的分布能表明样本的真实分布。每一个样本集中的样本都是所谓独立同分布的随机变量 (iid条件)，且有充分的训练样本。
极大似然估计
极大似然估计的原理，用一张图片来讲明，以下图所示：
总结起来，最大似然估计的目的就是：利用已知的样本结果，反推最有可能（最大几率）致使这样结果的参数值。
原理：极大似然估计是创建在极大似然原理的基础上的一个统计方法，是几率论在统计学中的应用。极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。经过若干次试验，观察其结果，利用试验结果获得某个参数值可以使样本出现的几率为最大，则称为极大似然估计。
因为样本集中的样本都是独立同分布，能够只考虑一类样本集D，来估计参数向量θ。记已知的样本集为：
似然函数（linkehood function）：联合几率密度函数称为相对于的θ的似然函数。
若是是参数空间中能使似然函数最大的θ值，则应该是“最可能”的参数值，那么就是θ的极大似然估计量。它是样本集的函数，记做：
求解极大似然函数
ML估计：求使得出现该组样本的几率最大的θ值。
实际中为了便于分析，定义了对数似然函数：
1. 未知参数只有一个（θ为标量）
在似然函数知足连续、可微的正则条件下，极大似然估计量是下面微分方程的解：
2.未知参数有多个（θ为向量）
则θ可表示为具备S个份量的未知向量：
记梯度算子：
若似然函数知足连续可导的条件，则最大似然估计量就是以下方程的解。
方程的解只是一个估计值，只有在样本数趋于无限多的时候，它才会接近于真实值。
极大似然估计的例子
例1：设样本服从正态分布，则似然函数为：
它的对数：
求导，得方程组：
联合解得：
似然方程有惟一解：，并且它必定是最大值点，这是由于当或时，非负函数。因而U和的极大似然估计为。
例2：设样本服从均匀分布[a, b]。则X的几率密度函数：
对样本：
很显然，L(a,b)做为a和b的二元函数是不连续的，这时不能用导数来求解。而必须从极大似然估计的定义出发，求L(a,b)的最大值，为使L(a,b)达到最大，b-a应该尽量地小，但b又不能小于，不然，L(a,b)=0。相似地a不能大过，所以，a和b的极大似然估计：
总结
求最大似然估计量的通常步骤：
（1）写出似然函数；
（2）对似然函数取对数，并整理；
（3）求导数；
（4）解似然方程。
最大似然估计的特色：
1.比其余估计方法更加简单；
2.收敛性：无偏或者渐近无偏，当样本数目增长时，收敛性质会更好；
3.若是假设的类条件几率模型正确，则一般能得到较好的结果。但若是假设模型出现误差，将致使很是差的估计结果。
正态分布ML估计的Matlab实例：点击打开连接