R语言svm支持向量机分类与参数优化
首先构建数据集
x<-c(runif(50,0,1),runif(100,1,3),runif(50,3,4))
y<-runif(200,0,1)z<-c(rep(0,50),rep(1,100),rep(0,50))
data<-cbind(x,y,z)
画出数据集的情况
plot(x,y,col=c(rep('red',50),rep('blue',100),rep('red',50)))
构建支持向量机
library(e1071)
svm.fit<-svm(z~x+y,data=data)summary(svm.fit)
########
Call:
svm(formula = z ~ x + y, data = data)
Parameters:
SVM-Type: eps-regression
SVM-Kernel: radial
cost: 1
gamma: 0.5
epsilon: 0.1
Number of Support Vectors: 158
#########
SVM-Kernel: radial表示此处使用的核函数为radial核函数，即径向基核函数，这是一个基于样本点之间的距离决定映射方式的函数。
Number of Support Vectors: 158 表示在这个模型中支持向量的数目是158
查看分类结果
predict(svm.fit)
预测值为正说明模型判断样本点属于类别1，为负说明属于类别0，且数值绝对值越大说明预测可靠性越大
svm.pre<-ifelse(predict(svm.fit)>0,1,0)n<-ifelse(svm.pre==z,1,0)
sum(n)
[1] 131
131个分类正确，正确率为65.5%
col<-ifelse(svm.pre==0,'red','blue')
plot(x,y,col=col)
分类图像
下面尝试使用其他的核函数来分类
1.线性核函数
svm.line<-svm(z~x+y,data=data,kernel='linear')
svm.linepre<-ifelse(predict(svm.line)>0,1,0)
n<-ifelse(svm.linepre==z,1,0)
sum(n)
[1] 100
col<-ifelse(svm.linepre==0,'red','blue')
plot(x,y,col=col)
使用线性核函数的分类结果正确率是50%，而且把全部样本点判断为类别1
2.kernel设置为polynomial使用多项式核函数，结果与线性核函数一样
这是因为线性核函数和多项式核函数擅长解决线性分类，径向基核函数擅长解决非线性分类
3.同理可以试一下s型核函数，其正确率为56.5%，其分类结果散点图呈现倾斜带状，因为s型核函数对样本数据呈现带状规律过分敏感。实际上，他是神经网络核函数的首选。
支持向量机中比较重要的参数有三个：degree，cost，gamma
1.degree是仅用于多项式核函数中的参数，代表多项式核函数的次数，在本例中，经过实践发现degree为奇数时，degree越大模型表现越好，为偶数时，degree越大，模型越差，当degree足够大时，模型准确率趋于稳定。另外，当degree高于15时，R出现警告信息，而且当样本数据量较大时，设置过高的degree将非常危险（书上说的，我是想象不出来有什么危险）
2.cost是惩罚因子，可与任意核函数搭配，在本例中，分别取了1 2 3 4，发现cost越大越好。此外，cost与degree通常配合使用，在研究他们时，使用交叉验证法会得到更精确的结果。
3.gamma是选择径向基核函数作为kernel后，该函数自带的一个参数。隐含地决定了数据映射到新的特征空间后的分布，gamma越大，支持向量越少，gamma值越小，支持向量越多。支持向量的个数影响训练与预测的速度。本例也选取了1~20来测试，随着gamma的增加，准确度先增加后减小，在3处取最大值。
下面我们用穷举法来确定本例的最佳参数组合
a<-c()
for(i in 1:10){
for(j in 1:10){
for(k in 1:10){
svm.fit<-svm(z~x+y,data=data,degree=i,cost=j,gamma=k)
svm.pre<-ifelse(predict(svm.fit)>0,1,0)
n<-ifelse(svm.pre==z,1,0)
result<-c(i,j,k,sum(n))
a<-rbind(a,result)
}}}
a[which(a[,4]==max(a[,4])),]
结果如下
[,1] [,2] [,3] [,4]
result 1 7 3 147
result 2 7 3 147
result 3 7 3 147
result 4 7 3 147
result 5 7 3 147
result 6 7 3 147
result 7 7 3 147
result 8 7 3 147
result 9 7 3 147
result 10 7 3 147
显然，degree的变化不影响径向基核函数的结果，所以最佳参数为cost=7，gamma=3，模型准确率可以达到73.5%