OpenCV 2.4+ C++ SVM线性不可分处理

目的

• 实际事物模型中，并不是全部东西都是线性可分的。

• 须要寻找一种方法对线性不可分数据进行划分。

 

原理

上一篇文章，咱们推导出对于线性可分数据，最佳划分超平面应知足：

　　　　

如今咱们想引入一些东西，来表示那些被错分的数据点（好比噪点），对划分的影响。

如何来表示这些影响呢？

被错分的点，离本身应当存在的区域越远，就表明了，这个点“错”得越严重。

因此咱们引入，为对应样本离同类区域的距离。

接下来的问题是，如何将这种错的程度，转换为和原模型相同的度量呢？

咱们再引入一个常量C，表示和原模型度量的转换关系，用C对进行加权和，来表征错分点对原模型的影响，这样咱们获得新的最优化问题模型：

　　　　

关于参数C的选择， 明显的取决于训练样本的分布状况。 尽管并不存在一个广泛的答案，可是记住下面几点规则仍是有用的：

• C比较大时分类错误率较小，可是间隔也较小。 在这种情形下， 错分类对模型函数产生较大的影响，既然优化的目的是为了最小化这个模型函数，那么错分类的情形必然会受到抑制。
• C比较小时间隔较大，可是分类错误率也较大。 在这种情形下，模型函数中错分类之和这一项对优化过程的影响变小，优化过程将更加关注于寻找到一个能产生较大间隔的超平面。

 说白了，C的大小表征了，错分数据对原模型的影响程度。因而C越大，优化时越关注错分问题。反之越关注可否产生一个较大间隔的超平面。

 

开始使用

#include <iostream> #include <opencv2/core/core.hpp> #include <opencv2/highgui/highgui.hpp> #include <opencv2/ml/ml.hpp> #define NTRAINING_SAMPLES   100 // 每类训练样本的数量 #define FRAC_LINEAR_SEP     0.9f // 线性可分部分的样本组成比例 using namespace cv; using namespace std; int main(){ // 用于显示的数据 const int WIDTH = 512, HEIGHT = 512; Mat I = Mat::zeros(HEIGHT, WIDTH, CV_8UC3); /* 1. 随即产生训练数据 */ Mat trainData(2*NTRAINING_SAMPLES, 2, CV_32FC1); Mat labels (2*NTRAINING_SAMPLES, 1, CV_32FC1); RNG rng(100); // 生成随即数 // 设置线性可分的训练数据 int nLinearSamples = (int) (FRAC_LINEAR_SEP * NTRAINING_SAMPLES); // 生成分类1的随机点 Mat trainClass = trainData.rowRange(0, nLinearSamples); // 点的x坐标在[0, 0.4)之间 Mat c = trainClass.colRange(0, 1); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(0.4 * WIDTH)); // 点的y坐标在[0, 1)之间 c = trainClass.colRange(1,2); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT)); // 生成分类2的随机点 trainClass = trainData.rowRange(2*NTRAINING_SAMPLES-nLinearSamples, 2*NTRAINING_SAMPLES); // 点的x坐标在[0.6, 1]之间 c = trainClass.colRange(0 , 1); rng.fill(c, RNG::UNIFORM, Scalar(0.6*WIDTH), Scalar(WIDTH)); // 点的y坐标在[0, 1)之间 c = trainClass.colRange(1,2); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT)); /* 设置非线性可分的训练数据 */ // 生成分类1和分类2的随机点 trainClass = trainData.rowRange(  nLinearSamples, 2*NTRAINING_SAMPLES-nLinearSamples); // 点的x坐标在[0.4, 0.6)之间 c = trainClass.colRange(0,1); rng.fill(c, RNG::UNIFORM, Scalar(0.4*WIDTH), Scalar(0.6*WIDTH)); // 点的y坐标在[0, 1)之间 c = trainClass.colRange(1,2); rng.fill(c, RNG::UNIFORM, Scalar(1), Scalar(HEIGHT)); /* 设置分类标签 */ labels.rowRange( 0,   NTRAINING_SAMPLES).setTo(1); // Class 1 labels.rowRange(NTRAINING_SAMPLES, 2*NTRAINING_SAMPLES).setTo(2); // Class 2 /* 设置支持向量机参数 */ CvSVMParams params; params.svm_type    = SVM::C_SVC; params.C           = 0.1; params.kernel_type = SVM::LINEAR; params.term_crit   = TermCriteria(CV_TERMCRIT_ITER, (int)1e7, 1e-6); /* 3. 训练支持向量机 */ cout << "Starting training process" << endl; CvSVM svm; svm.train(trainData, labels, Mat(), Mat(), params); cout << "Finished training process" << endl; /* 4. 显示划分区域 */ Vec3b green(0,100,0), blue (100,0,0); for (int i = 0; i < I.rows; ++i) for (int j = 0; j < I.cols; ++j){ Mat sampleMat = (Mat_<float>(1,2) << i, j); float response = svm.predict(sampleMat); if (response == 1)    I.at<Vec3b>(j, i)  = green; else if (response == 2)    I.at<Vec3b>(j, i)  = blue; } /* 5. 显示训练数据 */ int thick = -1; int lineType = 8; float px, py; // 分类1 for (int i = 0; i < NTRAINING_SAMPLES; ++i){ px = trainData.at<float>(i,0); py = trainData.at<float>(i,1); circle(I, Point( (int) px,  (int) py ), 3, Scalar(0, 255, 0), thick, lineType); } // 分类2 for (int i = NTRAINING_SAMPLES; i <2*NTRAINING_SAMPLES; ++i){ px = trainData.at<float>(i,0); py = trainData.at<float>(i,1); circle(I, Point( (int) px, (int) py ), 3, Scalar(255, 0, 0), thick, lineType); } /* 6. 显示支持向量 */ thick = 2; lineType = 8; int x     = svm.get_support_vector_count(); for (int i = 0; i < x; ++i) { const float* v = svm.get_support_vector(i); circle( I, Point( (int) v[0], (int) v[1]), 6, Scalar(128, 128, 128), thick, lineType); } imwrite("result.png", I); // 保存图片 imshow("SVM线性不可分数据划分", I); // 显示给用户 waitKey(0); }

 

设置SVM参数

这里的参数设置能够参考一下上一篇文章的API。

CvSVMParams params; params.svm_type = SVM::C_SVC; params.C = 0.1; params.kernel_type = SVM::LINEAR; params.term_crit = TermCriteria(CV_TERMCRIT_ITER, (int)1e7, 1e-6);

 能够看到，此次使用的是C类支持向量分类机。其参数C的值为0.1。

 

 结果

• 程序建立了一张图像，在其中显示了训练样本，其中一个类显示为浅绿色圆圈，另外一个类显示为浅蓝色圆圈。
• 训练获得SVM，并将图像的每个像素分类。 分类的结果将图像分为蓝绿两部分，中间线就是最优分割超平面。因为样本非线性可分， 天然就有一些被错分类的样本。 一些绿色点被划分到蓝色区域， 一些蓝色点被划分到绿色区域。
• 最后支持向量经过灰色边框加剧显示。

 

被山寨的原文

Support Vector Machines for Non-Linearly Separable Data . OpenCV.org