【转载】多项式分布

http://blog.csdn.net/v1_vivian/article/details/52055760

 

咱们知道，对于伯努利分布，咱们采用Logistic回归建模。那么咱们应该如何处理多分类问题？（好比要进行邮件分类；预测病情属于哪一类等等）。对于这种多项式分布咱们使用softmax回归建模。

 

多项式分布的目标值yε{1,2,3,...,k}；（其中 是类别种数）其几率分布为：

由于

，

 

因此咱们能够只保留k-1个参数，获得：

为了将多项式分布可以写成指数分布族的形式，先引入T(y)，它是一个k-1维的向量，以下所示：

                                     

引入指示函数I，使得

 

这样，T(y)向量中的某个元素就能够表示为：

 

根据上式，咱们还能够获得：

联合分布的几率密度函数为：因而，多项分布转变为指数分布族的推导以下：

 

 

对照指数分布族形式，上式可获得：

由于有：

 

，

 

可获得：

将上式代入

得：

 

 

假设函数h以下：

 

根据假设函数h求得参数θ，最大似然函数以下：

 

对上式取对数，获得以下最大似然函数对数为：

                                                                      

而后，将

 

 

 

代入上式。

 

再经过牛顿法或梯度降低法求得参数θ，再假设函数h对新的样例进行预测，便可完成多分类任务。