机器学习算法：感知机

分类算法，二分类，线性分类。判别模型。

1 感知机模型

感知机是一种线性分类模型，属于判别模型。

2 感知机学习策略

2.1 数据集的线性可分性

2.2 感知机学习策略

感知机学习的目标是求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。

损失函数：

（1）      误分类点的总数（不连续可导，不易优化）

（2）      误分类点到超平面S的总距离（采用这个）

损失函数是非负的。

3 感知机学习算法

3.1 感知机学习算法的原始形式

采用随机梯度下降法。

直观解释：当一个实例点被误分类，即位于分离超平面的错误一侧时，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该误分类点与超平面间的距离，直至超平面越过该误分类点使其被正确分类。

感知机学习算法由于采用不同的初值或选取不同的误分类点，解可以不同。

3.2 算法的收敛性

定理表明，误分类的次数k是有上界的，经过有限次搜索可以找到将训练数据完全正确分开的分离超平面。当训练数据集线性可分时，感知机学习算法原始形式迭代是收敛的。

由于感知机学习算法存在许多解，为了得到唯一的超平面，需要对分离超平面增加约束条件。

3.3 感知机学习算法的对偶形式

对原始形式一样，感知机学习算法的对偶形式迭代是收敛的，存在多个解。

参考文献：

【1】统计学习方法，李航