「ML」chapter3:线性模型

基本形式

f(x)=ω1x1+ω2x2+...+ωdxd+b 写成向量模式： f(x)=ωTx+b

线性回归

均方误差最小化，可以求出解析解。在引入多变量时，特征矩阵X往往不是满秩矩阵，这时可以有多组参数解，选择那个解作为输出，有学习算法的归纳偏好决定，常见方法时引入正则项。

衍生物1：对数线性回归

ln(y)=ωTx+by=eωT+b 衍生物2：对数几率回归 ln(y1−y)=ωTx+by=11+e−(ωTx+b) 优点： 1. 直接对分类可能性进行建模，无需假设数据分布？？？？？？ 2. 近似概率分布，任意阶可导，方便求解。 解法：用极大似然法求解 l(w,b)=∑i=1mln p(yi|xi;ω,b) 其中： p(yi|xi;ω,b)=p(yi|xi)yip((1−yi)|xi)1−yi 用梯度下降求解可得 βt+1=βt+α×∑i=1m(yi−p(yi|xi))xi

线性判别分析(LDA)

LDA的思想：给定训练样例，设法将样例投影到一条直线上，使得同类投影点尽量接近，异类投影点尽可能远离。

多分类学习

采用一些基本策略，利用二分类学习器来解决多分类问题。经典策略：一对一，一对其余，多对多。 多对多中常用计数：纠错输出码， 编码：对N个类别做M次划分，每次划分一部分类别为正，其余为负，产生M个训练集，训练M个分类器， 解码：对测试样本进行预测，将预测结果组成一个编码，与各类别对编码计算距离，距离最小的类别作为最终预测结果。

类别不均衡问题

线性分类器 y=ωTx+b 对新样本进行分类时，通过 y 值与一个阈值进行对比，通常为0.5,这就意味着决策规则为： y1−y>1，则预测为正例 类别不平衡学习的一个基本策略：再缩放-1欠采样2过采样 1. 欠采样，EasyEnsemble利用继承学习机制，将反例划分为若干个集合共不同学习器使用， 2. 过采样，SMOTE通过对训练集里对正例进行插值产生额外的正例。