Python3入门机器学习之9.1SVM及SVM背后的最优化问题

Python3入门机器学习

9.1 SVM及SVM背后的最优化问题

1.什么是SVM（Support Vector Machine）？

找到一个决策边界，这个决策边界不仅要很好的将训练数据集的样本做很好的划分，同时泛化能力还要好。这个决策边界离我们的分类样本都要尽可能的远，如上图所示，最近的三个点（红、红、蓝）离决策边界（中间的线）要尽可能的大。

线性可分：对于所有的样本点来说，首先要存在一根直线或者一个平面可以将这些点划分。
如果解决的是线性可分的问题，这样的算法通常称之为“Hard Margin SVM”；如果数据是线性不可分的问题，这样的算法通常称之为“Soft Margin SVM”。

2.SVM背后的最优化问题：





令wd = w， bd = b，上图有：