模型简单结构
当我们试图预测的目标变量是连续的，例如在我们的住房示例中，我们称学习问题为回归问题
当y只能接受少量离散值（例如，如果给定居住面积，我们想要预测一个住宅是房子还是公寓），我们称之为分类问题
用一个变量进行线性回归， 单变量线性回归。
单变量线性回归，模型假设以及参数：
代价函数(Cost Function): 计算整个训练集所有损失之和的平均值
J ( θ0,θ1)=2 m1i = 1∑m(y^i−yi)2=2 m1i = 1∑m( hθ( xi)−yi)2
******除以m和2m代价函数最小值相同，为了后面在梯度下降求偏导计算方便，故除以2m
单变量线性回归参数就是
梯度下降方法原理：
开始随机选取θ0和θ1
不断的改变θ0和θ1的值，不断减小代价函数J，直到趋近于最小值或者局部最小值
使用梯度下降的方式计算全局θ
repeat until convergence: {
θ0:=θ1:=}θ0−α1m∑i=1m(hθ(xi)−yi)θ1−α1m∑i=1m((hθ(xi)−yi)xi)
学习效率
如果α较小，则达到收敛所需要迭代的次数就会非常高；如果α较大，则每次迭代可能不会减小代价函数的结果，甚至会超过局部最小值导致无法收敛如下图示例
在为梯度下降算法选择合适的学习速率 α 时可以大致按3的倍数再按10的倍数来选取一系列α值，直到我们找到一个值它不能再小了，同时找到另一个值，它不能再大了
其中最大的那个 α 值，或者一个比最大值略小一些的α 值 就是我们期望的最终α 值
θ计算
所有这一切的关键在于，如果我们从猜测我们的假设开始
然后重复应用这些梯度下降方程，我们的假设将变得越来越准确
回归原理有个博客写的很好，建议可以去参考看看
https://www.cnblogs.com/Sinte-Beuve/p/6164689.html
