干货|感知机更新算法正确性的直观理解

这里咱们就用一个例子，原本该点应该分为正类，错分为负类，进行更新后，直观上算法的正确性判断。

首先当咱们感知机算法更新到某一点的时候，假如原来A点的正确类别是正类，y=1，算法将它判断为负类,判断为-1，以下所示：

咱们可以看到此时更新到了左下角的红色正方框，此时是将它分错了，假设它为正类y=1,而咱们将它分为了负类，分红了-1。

那么进行参数更新！更新方式以下：

那么为何更新后的超平面必定就比没有更新后的超平面好呢？

下面从理论和可视化两个部分来讲明一下

理论

未更新前，咱们的wx+b是小于0的，才致使咱们错分为了负类，正确的标签是y=1,为正类。那么进行更新后，咱们再进行计算，以下：

其中y=1，已经带入式子。

咱们能够经过看出，通过更新后，比原来的wx+b加上了正值，也就是说，更新后，必定使得原来分错的负值往正向走！！

这也就是在理论上证实了每次更新都会更好的结论。

可视化

这种更新方式，咱们也有直观上的感受，能够可视化理解一下，以下图：

上图中的w是学习的超平面的法线向量，能够看出它将x已经分错了。那么此时咱们须要将超平面往x方向走，才能将x点最后分对。

当咱们数据点应该分类为y=+1的时候，咱们错分红-1(则判断wx+b<0了，那么说明wx<0,表明w与x向量夹角大于90度)，这个时候应该调整，更新过程为w=w+1x,往x向量方向更接近了，往可以分对x点的方向走！以下图：

这也从可视化角度直观的说明了更新算法的正确性。

致谢：张岳老师
推荐阅读：
精选干货|近半年干货目录汇总----全是通俗易懂的硬货！欢迎阅读！
干货|台湾大学林轩田机器学习基石课程学习笔记3 -- Types of Learning
干货|台湾大学林轩田机器学习基石课程学习笔记2 -- Learning to Answer Yes/No
干货|台大林轩田机器学习基石笔记1 -- The Learning Problem

欢迎关注公众号学习交流~