猪猪的机器学习笔记（十二）支持向量机

时间 2019-12-02

标签机器学习笔记十二支持向量繁體版

原文原文链接

支持向量机

做者：樱花猪算法

摘要：机器学习

本文为七月算法（julyedu.com）12月机器学习第十二次次课在线笔记。SVM是一种常见的分类器，在很长一段时间起到了统治地位。而目前来说SVM依然是一种很是好用的分类器，在处理少许数据的时候有很是出色的表现。函数

引言：学习

SVM是一个很是常见的分类器，在真正了解他的原理以前咱们多多少少都有接触过他。本位将会详细的介绍SVM的原理、目标以及计算过程和算法步骤。咱们针对线性可分数据和线性不可分数据介绍了线性支持向量机和非线性支持向量机，并在最后简单阐述非线性支持向量机的重要概念核函数。优化

SVM实际上就是一个求解极值凸优化的过程，想要更好的了解SVM必定要很是熟悉有关于“凸优化”的内容。当了解“凸优化”后，SVM实际上变得很是容易。spa

预备知识3d

凸优化orm

1、线性可分支持向量机blog

1、概念ci

给定线性可分训练数据集，经过间隔最大化获得的分离超平面为：

相应的分类决策函数：，这个决策函数成为线性可分支持向量机。

某个肯定的特征空间转换函数，它的做用是将x映射到(更高的)维度。（核函数）

求解分离超平面问题能够等价为求解相应的凸二次规划问题。

分割平面：

训练集：

目标值：

新数据的分类：

二、求解方法

创建目标函数：经过等比例缩放w的方法，使得两类点的函数值都知足。

原目标函数：

新目标函数：

拉格朗日乘子法能够得出：

原问题：

原始问题的对偶问题：

计算方案：

一、计算：

推导方式：目标函数的凸优化求极值，为约束最优化解。

二、求得分割超平面

3、分类决策函数

2、线性支持向量机：

若数据线性不可分，则增长松弛影子，使函数间隔加上松弛变量大于等于1，则约束条件变成：

目标函数：

求解过程相似线性可分支持向量机，可是在求的时候，有所区别（要考虑松弛因子）

实践中每每取支持向量的全部值取平均，做为b*

3、核函数

能够使用核函数，将原始输入空间映射到新的特征空间，从而，使得本来线性不可分的样本可能在核空间可分。

常见的核函数：多项式核函数、高斯核函数、字符串核函数。

在实际应用中，每每依赖先验领域知识/交叉验证等方案才能选择有效的核函数。

若是有更多先验信息，则使用高斯核函数。