机器学习代码分析之一线性回归
机器学习线性回归中几个重要的函数：
1.CostFunction()损失函数，我们线性回归的目的就是使这个损失函数的值最小。
J = sum((X * theta - y).^
2) / (
2*m);
2.gradientDescent()梯度下降算法。梯度下降算法是为了求解合适的theta值，从而使CostFunction()的值最小。
for iter =
1:num_iters
theta(
1) = theta(
1) - alpha / m * sum(X * theta_s - y);
theta(
2) = theta(
2) - alpha / m * sum((X * theta_s - y) .* X(:,
2));
theta_s=theta;
end
3.以上的两个方法可以解决y=theta(0)+theta(1)*x 的线性方程。如果我们的**特征**点很多的时候，我们还可以使用正规方程(normal equation)去求解theta值。这里给出梯度下降和正规方程(normal equation)求解theta值的公式：
这两个方法都可以计算theta的值。使用的场景有所不同，当我们的样本数量在10^3左右时，我们选择正规方程(normal equation)去求解。其次正规方程不需要迭代，也不需要设置alpha(学习速率)。
a.多特征时的梯度下降算法gradientDescentMulti()：
for iter =
1:num_iters
theta = theta - alpha / m *
X' * (X * theta - y);
J_history(iter) = computeCostMulti(X, y, theta);
end
b.多特征时的正规方程(normal equation)normalEqn():
theta = pinv(
X' * X ) *
X' * y;
这里给出完整的工程代码 http://download.csdn.net/download/qq_18884487/9959854 里面包含了8个工程代码。出自斯坦福大学机器学习讲课代码。
