支持向量机和逻辑回归的异同

本节来自：http://www.cnblogs.com/zhizhan/p/5038747.html，有删改。支持向量机模型并非严格意义上的判别式模型。

相同点：
1，LR和SVM都是分类算法。
2，若是不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。
3，LR和SVM都是监督学习算法。

不一样点：

1，本质上是其loss function不一样。
2，支持向量机只考虑局部的边界线附近的点，而逻辑回归考虑全局（远离的点对边界线的肯定也起做用）。
线性SVM不直接依赖于数据分布，分类平面不受一类点影响；LR则受全部数据点的影响，若是数据不一样类别strongly unbalance，通常须要先对数据作balancing。
3，在解决非线性问题时，支持向量机采用核函数的机制，而LR一般不采用核函数的方法。
​这个问题理解起来很是简单。分类模型的结果就是计算决策面，模型训练的过程就是决策面的计算过程。经过上面的第二点不一样点能够了解，在计算决策面时，SVM算法里只有少数几个表明支持向量的样本参与了计算，也就是只有少数几个样本须要参与核计算（即kernal machine解的系数是稀疏的）。然而，LR算法里，每一个样本点都必须参与决策面的计算过程，也就是说，假设咱们在LR里也运用核函数的原理，那么每一个样本点都必须参与核计算，这带来的计算复杂度是至关高的。因此，在具体应用时，LR不多运用核函数机制。​
4，​线性SVM依赖数据表达的距离测度，因此须要对数据先作normalization，LR不受其影响。
5，SVM的损失函数就自带正则！！！（损失函数中的1/2||w||^2项），这就是为何SVM是结构风险最小化算法的缘由！！！而LR必须另外在损失函数上添加正则项！！！
 

本节来自http://www.iliuye.com/index.php/Wap/Index/article/id/190886，该博客里有些写的并不许确，具备参考价值。

在Andrew NG的课里讲到过：
1. 若是Feature的数量很大，跟样本数量差很少，这时候选用LR或者是Linear Kernel的SVM
2. 若是Feature的数量比较小，样本数量通常，不算大也不算小，选用SVM+Gaussian Kernel
3. 若是Feature的数量比较小，而样本数量不少，须要手工添加一些feature变成第一种状况

 

 

有问题欢迎讨论.