R语言调整支持向量机

说明

除了选择不同的特征集和核函数，还可以借助参数gamma以及惩罚因子来调整支持向量机的性能，可以写一个for函数来实现。SVM提供了tune.svm函数简化了这个过程。

操作

准备好训练数据集trainset 使用tune.svm调整支持向量机

tuned = tune.svm(churn ~ .,data = trainset,gamma = 10^(-6:-1),cost = 10^(1:2)) summary(tuned) Parameter tuning of ‘svm’: - sampling method: 10-fold cross validation - best parameters: gamma cost 0.01 100 - best performance: 0.08334453 - Detailed performance results: gamma cost error dispersion 1 1e-06 10 0.14771421 0.02166249 2 1e-05 10 0.14771421 0.02166249 3 1e-04 10 0.14771421 0.02166249 4 1e-03 10 0.14771421 0.02166249 5 1e-02 10 0.09328258 0.02145332 6 1e-01 10 0.09327885 0.01886539 7 1e-06 100 0.14771421 0.02166249 8 1e-05 100 0.14771421 0.02166249 9 1e-04 100 0.14771421 0.02166249 10 1e-03 100 0.11660882 0.02216171 11 1e-02 100 0.08334453 0.01773662 12 1e-01 100 0.12221787 0.03089361

使用turning函数得到最佳参数设置支持向量机

model.tuned = svm(churn ~ .,data = trainset,gamma = tuned$best.parameters$gamma,cost = tuned$best.parameters$cost) > summary(model.tuned) Call: svm(formula = churn ~ ., data = trainset, gamma = tuned$best.parameters$gamma, cost = tuned$best.parameters$cost) Parameters: SVM-Type: C-classification SVM-Kernel: radial cost: 100 gamma: 0.01 Number of Support Vectors: 547 ( 304 243 ) Number of Classes: 2 Levels: yes no

调用predict函数基于刚配置好的SVM模型进行类标号的预测：

svm.tuned.pred = predict(model.tuned,testset[,!names(testset) %in% c("churn")]) svm.tuned.table = table(svm.tuned.pred,testset$churn) svm.tuned.table svm.tuned.pred yes no yes 95 24 no 46 853

调用classAgreement函数得到相关系数完成算法性能评测：

classAgreement(svm.tuned.table) $diag [1] 0.9312377 $kappa [1] 0.691678 $rand [1] 0.871806 $crand [1] 0.6303615

最后，调用confusionMatrix评价系统模型

confusionMatrix(svm.tuned.table) Confusion Matrix and Statistics svm.tuned.pred yes no yes 95 24 no 46 853 Accuracy : 0.9312 95% CI : (0.9139, 0.946) No Information Rate : 0.8615 P-Value [Acc > NIR] : 1.56e-12 Kappa : 0.6917 Mcnemar's Test P-Value : 0.01207 Sensitivity : 0.67376 Specificity : 0.97263 Pos Pred Value : 0.79832 Neg Pred Value : 0.94883 Prevalence : 0.13851 Detection Rate : 0.09332 Detection Prevalence : 0.11690 Balanced Accuracy : 0.82320 'Positive' Class : yes

原理

调整支持向量机可以采用试错法来寻找最佳的gamma和惩罚因子，用户需要采用不同的参数组合以训练出不同的支持向量机。svm.tune函数使用了12组不同的参数组合，函数采用10遍交叉检验的方法获得每次组合的错误偏差，最后选择误差最低的最优参数组合，从summary表可以知道，gamma等于0.01和惩罚因子的100时，算法最优。 当得到最佳参数值后，可以用他们在训练一个新的支持向量机，并基于模型的分类预测结果的样例集的实际类别生成分类表以及混淆矩阵。从混淆矩阵的输出结果可以得到新旧两个模型的正确差异。