线性回归

单变量线性回归的目标是：通过模型来描述某一特征（解释变量X）与连续输出（目标变量y）之间的关系，当只有一个解释变量时线性模型定义如下。y=W0+W1X。W0成为函数在y轴上的截距，W1为系数。目标是通过学习得到线性方程的两个权值，并用他们描述解释变量和目标变量之间的关系，当解释变量为非训练集中数据时，可用此线性关系来预测对应的输出。多元线性回归：线性回归模型扩展为多个解释变量，y=W0X0+W1X1+W2X2+…+WmXm = ΣWiXi = （点积）W^TX相关性系数矩阵是一个包含皮尔逊积矩相关系数，他用来衡量两两特征间的线性依赖关系基于最小二乘法构建线性回归模型代价函数梯度下降法是一种方法，优化的是代价函数

线性回归模型性能的评估

残差图：以残差为纵坐标，以任何其他指定的量为横坐标的散点图。度量线性回归模型的可视化工具MSE 均方误差决定系数 R^2：可以看做是MSE的标准化版本 Var(y)表示方差

正则化

线性回归中的正则化（目的解决过拟合的现象） 过拟合的原因：1.训练数据过少，2.特征过多，3.模型过于复杂

岭回归LASSO回归总结