BP算法
BP算法通过将输出误差反向传播，将误差分配到每个权值上，利用梯度更新对所有参数进行调整以达到输出累计误差最小
[图片来自Andrew Ng的machine learning课程]
为了简化概念，先不加上偏置单元 符号介绍
zli
:第
l
层第i节点的误差
zli
:第
l
层第i节点的输入值
ali:第
l
层第i节点的输出值
wlji
:第
l−1
层第i节点到第
l
层j节点的权值
h():节点的激活函数，如sigmod、tanh等
ml
:第
l
层的节点个数
根据网络图，有以下关系:
ali=h(zli)
zli=∑mlj
wljial−1j
误差反向传播递推公式以及对任一参数更新推导如下（打符号好慢，直接上手工图片）
