机器学习算法之几率分类法

对模型给予几率进行分类的手法称为几率分类法。给予几率是指对于模式X所对应的类别y的后验几率（y|x）进行学习。其所属类别为后验几率达到最大值时所对应的类别。

基于几率的模式识别的算法除了能够避免错误分类，还具备一个优点。就是的对多分类一般会有一个号的效果。

1、Logistic回归

首先，来看一下最基本也是最多见的几率分类算法-----logistc回归。

一、Logistic的最大似然估计

Logistic回归，使用线性对数函数对分类后验几率p（y|x）记性模型化。

分母是知足几率总和为1 条件约束的正则化项。参数θ有bc维。

Logistic回归模型的学习，经过对数似然维最大时的最大似然估计进行求解。

Logistic回归的学习模型由下式的最优化问题定义：

上述的目标函数对于参数θ时能够微分的，因此可使用梯度降低法来求最大似然那估计的解。

下面是使用几率梯度降低法的Logistic回归学习算法的伪代码

 

 二、使用Logistic损失最小化学习来解释

以2分类问题进行说明

y ∈{+1，-1}，q（y=+1 | x；θ）+q（y= -1|x；θ） =1

Logistic的参数由2b个降到b个

这个模型的对数似然最大化的准则

能够改写为上述形式。根据关于参数的线性模型

的间隔m = f（x）y，可知上式与Logistic损失

的Logistic损失最小化学习是等价的。

2、最小二乘几率分类

最小二乘分类是在平方偏差的准则下，与Logistic回归具备相同窗习的算法。

 最小二乘分类器的线性模型：

与Logistic模型不一样的是，这个模型只依赖于与各个类别y对应的参数。而后，对于这个模型进行学习，使下式的平方偏差最小。

 

 

上式第二项中

p（y|x）p（x）利用贝叶斯公式进行变换。

p（y|x）p（x） = p（xy） = p（x|y）p（y）

分别表示与p（x）和p（x|y）相关的数学指望值。这些指望值通常没法直接计算。而是用样本的平均值来进行近似。

再加入l2正则化项，将最小平方偏差公式记为：

对其求偏导数并置为0，获得θ的解