接下来介绍Boosting族算法中最著名的AdaBoost算法，其基本思想如下： 1、改变训练数据的权值或概率分布，提高前一轮弱分类器分错的样本的权值，降低分类正确的样本的权值（体现在什么地方？乘以exp()）。举个例子，我们平时记单词，总是选择前一天没有记下来的单词进行强化训练。 2、如何将弱分类器组合成一个强分类器？加大分类错误率小的基分类器的权值，降低分类错误率大的基分类器的权值。 AdaBoost算法是加法模型和前向分步算法的结合，使用的是指数损失函数。 0-1损失函数： 指数损失函数： 指数损失函数是0-1损失函数的一种代理函数。
下面介绍算法的详细推导过程：从基于加法模型迭代式优化指数损失函数的角度推导。 算法大致流程如下：
Boosting算法要求基学习器能对特定的数据分布进行学习，这可以通过重赋权值实施，即在训练过程的每一轮中，根据样本分布为每个训练样本重新赋一个权重。
对无法接受带权样本的基学习算法，则可以通过重采样法来处理，即在每一轮的学习中，根据样本分布对训练集重新进行采样，然后训练基学习器。
一般而言，这两种做法没有显著的优劣差别。
Boosting算法在训练的每一轮都要检查当前的生成的基学习器的正确率大于0.5，若不满足，则当前学习器被抛弃，且学习过程停止。此时可采用重采样法，抛弃不满足条件的基学习器之后，根据当前分布重新对训练样本进行采样，重新训练基学习器，直到满足训练次数T。
