一、前言
在推导出SVM公式的基础上，就可以考虑动手实现了。SVM解决分类问题，这里用MATLAB来实现，具体就不多说了，所以首先给出两种标记不同的点，然后分别标记为+1，-1。先训练，再测试，最后画图展示出来。代码也是主演参考的别人的，有加上自己的理解注释。
二、流程及实现
1.流程图
2.大家对二次规划可能有点陌生，可以查看帮助文档或者百度，讲解得都很详细，下面是我简单记录一下，其实就是一一对应起来：
3.得到大致流程之后，下面直接贴代码，复制之后就可直接运行。
主函数代码如下：
%------------主函数---------------- clear all; close all; C = 10; %成本约束参数 kertype = 'linear'; %线性核 %①------数据准备 n = 30; %randn('state',6); %指定状态，一般可以不用 x1 = randn(2,n); %2行N列矩阵，元素服从正态分布 y1 = ones(1,n); %1*N个1 x2 = 4+randn(2,n); %2*N矩阵，元素服从正态分布且均值为5，测试高斯核可x2 = 3+randn(2,n); y2 = -ones(1,n); %1*N个-1 figure; %创建一个用来显示图形输出的一个窗口对象 plot(x1(1,:),x1(2,:),'bs',x2(1,:),x2(2,:),'k+'); %画图，两堆点 axis([-3 8 -3 8]); %设置坐标轴范围 hold on; %在同一个figure中画几幅图时，用此句 %②-------------训练样本 X = [x1,x2]; %训练样本2*n矩阵，n为样本个数，d为特征向量个数 Y = [y1,y2]; %训练目标1*n矩阵，n为样本个数，值为+1或-1 svm = svmTrain(X,Y,kertype,C); %训练样本 plot(svm.Xsv(1,:),svm.Xsv(2,:),'ro'); %把支持向量标出来 %③-------------测试 [x1,x2] = meshgrid(-2:0.05:7,-2:0.05:7); %x1和x2都是181*181的矩阵 [rows,cols] = size(x1); nt = rows*cols; Xt = [reshape(x1,1,nt);reshape(x2,1,nt)]; %前半句reshape(x1,1,nt)是将x1转成1*（181*181）的矩阵，所以xt是2*（181*181）的矩阵 %reshape函数重新调整矩阵的行、列、维数 Yt = ones(1,nt); result = svmTest(svm, Xt, Yt, kertype); %④--------------画曲线的等高线图 Yd = reshape(result.Y,rows,cols); contour(x1,x2,Yd,[0,0],'ShowText','on');%画等高线 title('svm分类结果图'); x1=xlabel('X轴'); x2=ylabel('Y轴'); 训练样本函数svmTrain：%-----------训练样本的函数--------- function svm = svmTrain(X,Y,kertype,C) % Options是用来控制算法的选项参数的向量，optimset无参时，创建一个选项结构所有字段为默认值的选项 options = optimset; options.LargeScale = 'off';%LargeScale指大规模搜索，off表示在规模搜索模式关闭 options.Display = 'off'; %表示无输出 %二次规划来求解问题，可输入命令help quadprog查看详情 n = length(Y); %返回Y最长维数 H = (Y'*Y).*kernel(X,X,kertype); f = -ones(n,1); %f为1*n个-1,f相当于Quadprog函数中的c A = []; b = []; Aeq = Y; %相当于Quadprog函数中的A1,b1 beq = 0; lb = zeros(n,1); %相当于Quadprog函数中的LB，UB ub = C*ones(n,1); a0 = zeros(n,1); % a0是解的初始近似值 [a,fval,eXitflag,output,lambda] = quadprog(H,f,A,b,Aeq,beq,lb,ub,a0,options); %a是输出变量，问题的解 %fval是目标函数在解a处的值 %eXitflag>0,则程序收敛于解x；=0则函数的计算达到了最大次数；<0则问题无可行解，或程序运行失败 %output输出程序运行的某些信息 %lambda为在解a处的值Lagrange乘子 epsilon = 1e-8; %0<a<a(max)则认为x为支持向量,find返回一个包含数组X中每个非零元素的线性索引的向量。 sv_label = find(abs(a)>epsilon); svm.a = a(sv_label); svm.Xsv = X(:,sv_label); svm.Ysv = Y(sv_label); svm.svnum = length(sv_label); %svm.label = sv_label; end 测试函数svmTest：
%---------------测试的函数------------- function result = svmTest(svm, Xt, Yt, kertype) temp = (svm.a'.*svm.Ysv)*kernel(svm.Xsv,svm.Xsv,kertype); %total_b = svm.Ysv-temp; b = mean(svm.Ysv-temp); %b取均值 w = (svm.a'.*svm.Ysv)*kernel(svm.Xsv,Xt,kertype); result.score = w + b; Y = sign(w+b); %f(x) result.Y = Y; result.accuracy = size(find(Y==Yt))/size(Yt); end 核函数kernel:
%---------------核函数--------------- function K = kernel(X,Y,type) %X 维数*个数 switch type case 'linear' %此时代表线性核 K = X'*Y; case 'rbf' %此时代表高斯核 delta = 5; delta = delta*delta; XX = sum(X'.*X',2);%2表示将矩阵中的按行为单位进行求和 YY = sum(Y'.*Y',2); XY = X'*Y; K = abs(repmat(XX,[1 size(YY,1)]) + repmat(YY',[size(XX,1) 1]) - 2*XY); K = exp(-K./delta); end end 4. 结果
