Neural Network（神经网络）实例--手写数字识别

[**本实例整理自斯坦福机器学习课程课后练习ex3**](http://download.csdn.net/detail/the_lastest/9893091)

本例是对一个手写体的数据集（0-9）进行分类，其最终实现的效果同上一个实例相同。只是两者在实现方式上有所不同。

In the previous part of this exercise, you implemented multi-class logistic regression to recognize handwritten digits. However, logistic regression cannot form more complex hypotheses as it is only a linear classifier. You could add more features (such as polynomial features) to logistic regression, but that can be very expensive to train.

1.Model Representation

本例中的手写体图片采用的是$20pixel\times 20pixel$的格式，所有一张图片就有$20\times 20=400$个feature，即输入层有400个活化单元（activation unit），加上额外的偏置单元（bias unit）一共就是401个。整个神经网络的模型图如下所示：

2.Predict

本例中，第一层与第二层的权重(weights)即参数${\Theta }_1(25\times 401),{\Theta }_2(10\times 26)$已经给出，我们只需要根据向前传播（Forward Propagation）的方法进行计算即可。

训练数据X是一个$5000\times 400$的矩阵，为了更加容易明白计算过程，我们先取其中的任意一行$x_{(1\times 400)}$为例。根据神经网络的数学定义（第三点）知： \begin{align*} X & = [ones(m, 1) X];\ a_1 & =x’;\ z_2 & =\Theta_1a_1;\ a_2 & =sigmoid(z_2);\ \ a_2 & = [1;a_2];加上a_2对应的偏置项，\color{red}{注意不是a(0,0)=1,也不是a(1,1)=0}\ z_3 & =\Theta_2a_2;\ a_3 & =sigmoid(z_3); \end{align*}

此时相当于一张图片，经过3层的神经网络模型的计算，就可以得出这张图片对应输出层的十个输出的概率了，然后选择概率值最大的输出，我们就可以知道该图片所对应的手写体数字了。

下面是为了更加形象化计算过程：

同之前One-vs-all中一样，$g(z_i^3)$代表的是该手写体对应为数字几的概率（其中0映射为10）。

%循环5000次，即可预测出所有图片所对应的手写体 for i = 1:m; a1 = X(i,:)'; % 401 by 1 z2 = Theta1*a1; % 25 by 401 * 401 by 1 a2 = sigmoid(z2);% 25 by 1 a2 = [1;a2]; % column vector , 26 by 1 z3 = Theta2 * a2; % 10 by 26 * 26 by 1 a3 = sigmoid(z3); % 10 by 1 [temp p(i)] = max(a3); end

其中，[temp p(i)] = max(a3)，temp 用来保存最大的概率值，p(i)保存为其对应的数字。 如$a^3$的可能值为：$$a^3=[0.21,0.11,0.04,0.51,0.34,0.66,0.71,0.88,0.17,0.32{]}^T\text{，则 }temp=0.88,p(i)=8$$ max的用法戳此处

test = X(3454,:); [temp pp] = max(predict(Theta1, Theta2, test)) y(3454,1) %与已知标记进行对比验证 %%以下是输出结果 temp = 6 pp = 1%说明该图片为数字6的概率接近100%了 ans = 6 %这是矢量化的形式，即同时一起计算，不用循环 a1 = X'; z2 = Theta1*a1; a2 = sigmoid(z2); a2 = [ones(1,m);a2]; z3 = Theta2 * a2; a3 = sigmoid(z3); [temp p] = max(a3); p = p(:);