以SVM为例： 1. 求特征，并存为可识别的数据文件（训练集样本，训练集标签，测试集样本，测试集标签） 2. 特征缩放 3. 首选RBF核 4. 使用交叉验证+网格法选最优参数 5. 使用最优参数建模 6. 测试
里面最值得注意的有两步：
在运用一些机器学习算法的时候不可避免地要对数据进行特征缩放（feature scaling），特征缩放可以使机器学习算法工作的更好。比如在K近邻算法中，分类器主要是计算两点之间的欧几里得距离，如果一个特征比其它的特征有更大的范围值，那么距离将会被这个特征值所主导。因此每个特征应该被缩放，比如将取值范围处理为0到1之间。而且在某些模型下，如果不进行缩放会使计算误差变大，比如 SVM 有内积运算，特征没有事先缩放处理，某些特征很大，会增大计算误差。
特征缩放是用来标准化数据特征的范围。
这种方法是将数据的特征缩放到[0,1]或[-1,1]之间。缩放到什么范围取决于数据的性质。对于这种方法的公式如下： x′=（x−min(x)）/（max(x)−min(x)） x是最初的特征值， x′是缩放后的值。
特征标准化使每个特征的值有零均值(zero-mean)和单位方差(unit-variance)。这个方法在机器学习地算法中被广泛地使用。例如：SVM，逻辑回归和神经网络。这个方法的公式如下： x′=（x−x¯）/σ
matlab中可直接使用mapminmax mapminmax Map matrix row minimum and maximum values to [-1 1].mapminmax processes input and target data by mapping it from its original range to the range [-1 1]. 值得注意的是， 1）该函数针对行进行缩放。 2）当对训练集进行缩放后，同时要用同样的缩放方式对测试集进行缩放！ 如缩放训练集[-10,10]—>[-1,1]，那测试集[-11,8]—->[-1.1,0.8]而不是[-1,1] 因此，使用mapminmax示例：
[traindata,ps]=mapminmax(traindata');%同一个特征统一缩放 traindata=traindata'; testdata=mapminmax('apply',testdata',ps)';几个要说明的函数接口: [Y,PS] = mapminmax(X) [Y,PS] = mapminmax(X,FP) Y = mapminmax(‘apply’,X,PS) X = mapminmax(‘reverse’,Y,PS)
用实例来讲解,测试数据 x1 = [1 2 4], x2 = [5 2 3];
>> [y,ps] = mapminmax(x1) y = -1.0000 -0.3333 1.0000 ps = name: 'mapminmax' xrows: 1 xmax: 4 xmin: 1 xrange: 3 yrows: 1 ymax: 1 ymin: -1 yrange: 2 其中y是对进行某种规范化后得到的数据,这种规范化的映射记录在结构体ps中.让我们来看一下这个规范化的映射到底是怎样的? Algorithm It is assumed that X has only finite real values, and that the elements of each row are not all equal. y = (ymax-ymin)*(x-xmin)/(xmax-xmin) + ymin; [关于此算法的一个问题.算法的假设是每一行的元素都不想相同,那如果都相同怎么办?实现的办法是,如果有一行的元素都相同比如xt = [1 1 1],此时xmax = xmin = 1,把此时的变换变为y = ymin,matlab内部就是这么解决的.否则该除以0了,没有意义!] 也就是说对x1 = [1 2 4]采用这个映射 f: 2*(x-xmin)/(xmax-xmin)+(-1),就可以得到y = [ -1.0000 -0.3333 1.0000] 我们来看一下是不是: 对于x1而言 xmin = 1,xmax = 4; 则y(1) = 2*(1 - 1)/(4-1)+(-1) = -1; y(2) = 2*(2 - 1)/(4-1)+(-1) = -1/3 = -0.3333; y(3) = 2*(4-1)/(4-1)+(-1) = 1; 看来的确就是这个映射来实现的. 对于上面algorithm中的映射函数 其中ymin,和ymax是参数,可以自己设定,默认为-1,1; 比如: >>[y,ps] = mapminmax(x1) >> ps.ymin = 0; >> [y,ps] = mapminmax(x1,ps) y = 0 0.3333 1.0000 ps = name: 'mapminmax' xrows: 1 xmax: 4 xmin: 1 xrange: 3 yrows: 1 ymax: 1 ymin: 0 yrange: 1 则此时的映射函数为: f: 1*(x-xmin)/(xmax-xmin)+(0),是否是这样的这回你可自己验证.O(∩_∩)O 如果我对x1 = [1 2 4]采用了某种规范化的方式, 现在我要对x2 = [5 2 3]采用同样的规范化方式[同样的映射],如下可办到: >> [y1,ps] = mapminmax(x1); >> y2 = mapminmax('apply',x2,ps) y2 = 1.6667 -0.3333 0.3333 即对x1采用的规范化映射为: f: 2*(x-1)/(4-1)+(-1),(记录在ps中),对x2也要采取这个映射. x2 = [5,2,3],用这个映射我们来算一下. y2(1) = 2(5-1)/(4-1)+(-1) = 5/3 = 1+2/3 = 1.66667 y2(2) = 2(2-1)/(4-1)+(-1) = -1/3 = -0.3333 y2(3) = 2(3-1)/(4-1)+(-1) = 1/3 = 0.3333 X = mapminmax('reverse',Y,PS)的作用就是进行反归一化,讲归一化的数据反归一化再得到原来的数据: >> [y1,ps] = mapminmax(x1); >> xtt = mapminmax('reverse',y1,ps) xtt = 1 2 4 此时又得到了原来的x1(xtt = x1); ================================= Matlab 数字归一化问题(by yingzhilian) http://www.ilovematlab.cn/viewthread.php?tid=26409&extra=page=1&sid=Xs3tJM ------------------------------------------------------- 归一化化定义：我是这样认为的，归一化化就是要把你需要处理的数据经过处理后（通过某种算法）限制在你需要的一定范围内。首先归一化是为了后面数据处理的方便，其次是保正程序运行时收敛加快。 在matlab里面，用于归一化的方法共有三种: （1）premnmx、postmnmx、tramnmx （2）prestd、poststd、trastd （3）是用matlab语言自己编程。 premnmx指的是归一到[－1 1],prestd归一到单位方差和零均值。（3）关于自己编程一般是归一到[0.1 0.9] 。具体用法见下面实例。 为什么要用归一化呢？首先先说一个概念，叫做奇异样本数据，所谓奇异样本数据数据指的是相对于其他输入样本特别大或特别小的样本矢量。 下面举例： m=[0.11 0.15 0.32 0.45 30; 0.13 0.24 0.27 0.25 45]; 其中的第五列数据相对于其他4列数据就可以成为奇异样本数据（下面所说的网络均值bp）。奇异样本数据存在所引起的网络训练时间增加，并可能引起网络无法收敛，所以对于训练样本存在奇异样本数据的数据集在训练之前，最好先进形归一化，若不存在奇异样本数据，则不需要事先归一化。交叉验证（Cross validation）是一种评估统计分析、机器学习算法对独立于训练数据的数据集的泛化能力（generalize）， 能够避免过拟合问题。 交叉验证一般要尽量满足： 1）训练集的比例要足够多，一般大于一半 2）训练集和测试集要均匀抽样 交叉验证主要分成以下几类：
Double cross-validation也称2-fold cross-validation(2-CV)，作法是将数据集分成两个相等大小的子集，进行两回合的分类器训练。在第一回合中，一个子集作为训练集，另一个作为测试集；在第二回合中，则将训练集与测试集对换后，再次训练分类器，而其中我们比较关心的是两次测试集的识别率。不过在实际中2-CV并不常用，主要原因是训练集样本数太少，通常不足以代表母体样本的分布，导致测试阶段识别率容易出现明显落差。此外，2-CV中子集的变异度大，往往无法达到「实验过程必须可以被复制」的要求。
K-fold cross-validation (k-CV)则是Double cross-validation的延伸，做法是将数据集分成k个子集，每个子集均做一次测试集，其余的作为训练集。k-CV交叉验证重复k次，每次选择一个子集作为测试集，并将k次的平均交叉验证识别率作为结果。 优点：所有的样本都被作为了训练集和测试集，每个样本都被验证一次。
假设数据集中有n个样本，那LOOCV也就是n-CV，意思是每个样本单独作为一次测试集，剩余n-1个样本则做为训练集。 优点： 1）每一回合中几乎所有的样本皆用于训练model，因此最接近母体样本的分布，估测所得的generalization error比较可靠。 因此在实验数据集样本较少时，可以考虑使用LOOCV。 2）实验过程中没有随机因素会影响实验数据，确保实验过程是可以被复制的。 但LOOCV的缺点则是计算成本高，为需要建立的models数量与总样本数量相同，当总样本数量相当多时，LOOCV在实作上便有困难，除非每次训练model的速度很快，或是可以用平行化计算减少计算所需的时间。
使用svm，无论是libsvm还是svmlight，都需要对参数进行设置。以RBF核为例，在《A Practical Guide to Support Vector Classi cation》一文中作者提到在RBF核中有2个参数：C和g。对于一个给定的问题，我们事先不知道C和g取多少最优，因此我们要进行模型选择（参数搜索）。这样做的目标是找到好的(C, g)参数对，使得分类器能够精确地预测未知的数据，比如测试集。需要注意的是在在训练集上追求高精确度可能是没用的（意指泛化能力）。根据前一部分所说的，衡量泛化能力要用到交叉验证。 在文章中作者推荐使用“网格搜索”来寻找最优的C和g。所谓的网格搜索就是尝试各种可能的(C, g)对值，然后进行交叉验证，找出使交叉验证精确度最高的(C, g)对。“网格搜索”的方法很直观但是看起来有些原始。事实上有许多高级的算法，比如可以使用一些近似算法或启发式的搜索来降低复杂度。但是我们倾向于使用“网格搜索”这一简单的方法： 1）从心理上讲，不进行全面的参数搜索而是使用近似算法或启发式算法让人感觉不安全。 2）如果参数比较少，“网格搜索”的复杂度比高级算法高不了多少。 3）“网格搜索”可并行性高，因为每个(C, g)对是相互独立的。 说了那么大半天，其实“网格搜索”就是n层循环，n是参数个数，仍然以RBF核为例，编程实现如下：
for(double c=c_begin;c<c_end;c+=c_step) { for(double g=g_begin;g<g_end;g+=g_step) { //交叉验证，计算精确度。 } }通过上述两层循环找到最优的C和g就可以了。 中间那个交叉验证实现： Usage: model = svmtrain(training_label_vector, training_instance_matrix, ‘libsvm_options’); libsvm_options: -s svm_type : set type of SVM (default 0) 0 – C-SVC (multi-class classification) 1 – nu-SVC (multi-class classification) 2 – one-class SVM 3 – epsilon-SVR (regression) 4 – nu-SVR (regression) -t kernel_type : set type of kernel function (default 2) 0 – linear: u’*v 1 – polynomial: (gamma*u’*v + coef0)^degree 2 – radial basis function: exp(-gamma*|u-v|^2) 3 – sigmoid: tanh(gamma*u’*v + coef0) 4 – precomputed kernel (kernel values in training_instance_matrix) -d degree : set degree in kernel function (default 3) -g gamma : set gamma in kernel function (default 1/num_features) -r coef0 : set coef0 in kernel function (default 0) -c cost : set the parameter C of C-SVC, epsilon-SVR, and nu-SVR (default 1) -n nu : set the parameter nu of nu-SVC, one-class SVM, and nu-SVR (default 0.5) -p epsilon : set the epsilon in loss function of epsilon-SVR (default 0.1) -m cachesize : set cache memory size in MB (default 100) -e epsilon : set tolerance of termination criterion (default 0.001) -h shrinking : whether to use the shrinking heuristics, 0 or 1 (default 1) -b probability_estimates : whether to train a SVC or SVR model for probability estimates, 0 or 1 (default 0) -wi weight : set the parameter C of class i to weight*C, for C-SVC (default 1) -v n : n-fold cross validation mode -q : quiet mode (no outputs)
由于实验室许多研究都有用到evolutionary algorithms(EA)与classifiers，所使用的fitness function中通常都有用到classifier的辨识率，然而把cross-validation用错的案例还不少。前面说过，只有training data才可以用于model的建构，所以只有training data的辨识率才可以用在fitness function中。而EA是训练过程用来调整model最佳参数的方法，所以只有在EA结束演化后，model参数已经固定了，这时候才可以使用test data。
那EA跟cross-validation要如何搭配呢？Cross-validation的本质是用来估测(estimate)某个classification method对一组dataset的generalization error，不是用来设计classifier的方法，所以cross-validation不能用在EA的fitness function中，因为与fitness function有关的样本都属于training set，那试问哪些样本才是test set呢？如果某个fitness function中用了cross-validation的training或test辨识率，那么这样的实验方法已经不能称为 cross-validation了。
EA与k-CV正确的搭配方法，是将dataset分成k等份的subsets后，每次取1份 subset作为test set，其余k-1份作为training set，并且将该组training set套用到EA的fitness function计算中(至于该training set如何进一步利用则没有限制)。因此，正确的k-CV 会进行共k次的EA演化，建立k个classifiers。而k-CV的test辨识率，则是k组test sets对应到EA训练所得的k个classifiers辨识率之平均值。
感谢： http://www.ilovematlab.cn/thread-27021-1-1.html http://www.cnblogs.com/ranjiewen/p/6214425.html
