SVM支持向量机

在机器学习领域,支持向量机SVM(Support Vector Machine)是一个有监督的学习模型,一般用来进行模式识别、分类、以及回归分析。web

Vapnik等人在多年研究统计学习理论基础上对线性分类器提出了另外一种设计最佳准则。其原理也从线性可分提及,而后扩展到线性不可分的状况。甚至扩展到使用非线性函数中去,这种分类器被称为支持向量机(Support Vector Machine,简称SVM)。支持向量机的提出有很深的理论背景。算法

SVM的主要思想能够归纳为两点:微信

⑴它是针对线性可分状况进行分析,对于线性不可分的状况,经过使用非线性映射算法将低维输入空间线性不可分的样本转化为高维特征空间使其线性可分,从而 使得高维特征空间采用线性算法对样本的非线性特征进行线性分析成为可能;网络

⑵它基于结构风险最小化理论之上在特征空间中建构最优分割超平面,使得学习器获得全局最优化,而且在整个样本空间的指望风险以某个几率知足必定上界。机器学习

1.原理函数

 (1)在n维空间中找到一个分类超平面,将空间上的点分类。以下图是线性分类的例子。学习


(2)通常而言,一个点距离超平面的远近能够表示为分类预测的确信或准确程度。SVM就是要最大化这个间隔值。而在虚线上的点便叫作支持向量Supprot Verctor。
优化




(3)实际中,咱们会常常遇到线性不可分的样例,此时,咱们的经常使用作法是把样例特征映射到高维空间中去(以下图);人工智能





(4)线性不可分映射到高维空间,可能会致使维度大小高到可怕的(19维乃至无穷维的例子),致使计算复杂。支持向量机中核函数的价值在于它虽然也是讲特征进行从低维到高维的转换,但核函数绝就绝在它事先在低维上进行计算,而将实质上的分类效果表如今了高维上,也就上文所说的避免了直接在高维空间中的复杂计算。spa


2.通常特征


(1)SVM学习问题能够表示为凸优化问题,所以能够利用已知的有效算法发现目标函数的全局最小值。而其余分类方法(如基于规则的分类器和人工神经网络)都采用一种基于贪心学习的策略来搜索假设空间,这种方法通常只能得到局部最优解。


(2)SVM经过最大化决策边界的边缘来控制模型的能力。尽管如此,用户必须提供其余参数,如使用核函数类型和引入松弛变量等。


(3)经过对数据中每一个分类属性引入一个哑变量,SVM能够应用于分类数据。


(4)SVM通常只能用在二类问题,对于多类问题效果很差。



本文分享自微信公众号 - AI MOOC人工智能平台(AIMOOC_XLAB)。
若有侵权,请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一块儿分享。

相关文章
相关标签/搜索