学习SVM（三）理解SVM中的对偶问题

阅读原文

网上有不少关于SVM的优秀博客与其余学习资料，而我的感受本系列博客与其余关于SVM的文章相比，多了一些细节的证实，好比线性分类器原理，支持向量原理等等。 一样是SVM，在《支持向量机导论》中有170+页的内容，而在《机器学习》（周志华）一书中仅仅是一个章节的内容，中间略过了细节推导的过程，这些被略过的推导过程在本系列博客中都会加入，也是在自学时验证过程当中的一些总结，若有问题请指正。

在上一篇的内容中（学习SVM（二） 如何理解支持向量机的最大分类间隔），咱们最后咱们推导出优化目标为：

其中约束条件为n个，这是一个关于w和b的最小值问题。

根据拉格朗日乘子法：就是求函数f(x1,x2,…)在g(x1,x2,…)=0的约束条件下的极值的方法。其主要思想是将约束条件函数与原函数联系到一块儿，使能配成与变量数量相等的等式方程，从而求出获得原函数极值的各个变量的解。便可以求得：

其中a就是拉格朗日乘子法进入的一个新的参数，也就是拉格朗日乘子。 那么问题就变成了：

所谓的对偶问题就是：

作这种转换是为了后面的求解方便，由于最小值问题，求导就能够啦！！ 下面对w和b分别求偏导（这里是纯数学计算，直接给结果了）：

在这里求出了两个结果，带入到L(w,b,a)中：

因此问题被转化成为：

注意这里的约束条件有n+1个。

添加符号，再一次转化条件：

相关阅读：学习SVM（四）-理解SVM中的支持向量（Support-Vector）