机器学习(十一) 支持向量机 SVM（上）

1、什么是支撑向量机SVM （Support Vector Machine）

SVM(Support Vector Machine)指的是支持向量机，是常见的一种判别方法。在机器学习领域，是一个有监督的学习模型，一般用来进行模式识别、分类以及回归分析。

Vapnik等人在多年研究统计学习理论基础上对线性 分类器提出了另外一种设计最佳准则。其原理也从线性可分提及，而后扩展到线性不可分的状况。甚至扩展到使用非线性函数中去，这种分类器被称为支持向量机（Support Vector Machine，简称SVM）。支持向量机的提出有很深的理论背景。

支持 向量机方法是在后来提出的一种新方法。

SVM的主要思想能够归纳为两点：

1. 它是针对线性可分状况进行分析，对于线性不可分的状况，经过使用非线性 映射算法将低维输入空间线性不可分的样本转化为 高维特征空间使其线性可分，从而使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能。
2. 它基于结构风险最小化理论之上在特征空间中构建最优超平面，使得学习器获得全局最优化，而且在整个样本空间的指望以某个几率知足必定上界。

2、SVM背后的最优化问题

 

 

 

 

3、Soft Margin SVM  和 SVM 正则化

 

 

 

4、scikit-learn中的SVM

 

 

 

5、SVM中使用多项式特征和核函数