线性回归是是最好理解的线性模型，它试图使用线性模型去尽可能准确地预测实值输出标记。 比如使用一个线性方程去拟合一些点。
(1) 直接线性回归，即使用线性模型是拟合实际值 y y (2) 对数线性回归，即用线性模型去拟合lnylny， y y 是实际输出 (3) logistics 回归（逻辑回归，对数几率回归）， 使用线性模型拟合 lny1−ylny1−y
逻辑回归是线性回归在分类问题中的应用。 找一个单调可微线性函数将标记 y y 与线性模型的预测值关联起来。 简单的二分类问题用单位阶跃函数： 用对数几率函数(Logistic function)代替不连续的阶跃函数，将实值z转为接近0或1的y值： y=11 e−zy=11 e−z 将 z=(wTx+b) z = ( w T x + b ) 代入上式，在变形得到 ln(y1−y)=wTx+b l n ( y 1 − y ) = w T x + b 这个公式表示用线性回归模型的预测结果去逼近真实标记的对数几率，这就是logistics regression.
由2可以知道，给定一个输入x，模型能够把其归类为0或者1两个类别，这是简单的二分类问题。 当要解决多分类问题，通常采用 One-vs-All，亦称 One-vs-the Rest 方法来实现多分类，其将多分类问题转化为了多次二分类问题。假定完成 K 个分类，One-vs-All 的执行过程如下： (1) 先轮流选中某一类型 i ，将其视为正样本，即 “1” 分类，剩下样本都看做是负样本，即 “0” 分类。 (2) 训练逻辑回归模型得到参数 θ(1),θ(2),…,θ(K) ，即总共获得了 K−1 个决策边界。 这样就能将多个类别分开。
更多阅读 Logistic Regression 的前世今生 https://blog.csdn.net/cyh_24/article/details/50359055 机器学习算法系列–logistic回归 https://zhuanlan.zhihu.com/p/35629052 逻辑回归的常见面试点总结 https://www.cnblogs.com/ModifyRong/p/7739955.html 多分类问题 https://yoyoyohamapi.gitbooks.io/mit-ml/content/逻辑回归/articles/多分类问题.html
