感知机(Perceptron)
感知机模型如下图所示: 输入层接受多个二值输入, 输出层提供一个二值输出(M-P神经元). 用数学公式来描述就是:
y={0,1,∑jwjxj+b≤0∑jwjxj+b>0
这里,
y
是指输出,
xi指输入,
wi
是输入的权重,
j
是输入管脚个数,
b是指偏移.
多个感知机可以构成神经网络, 如下图:
Sigmoid Neurons
M-P神经元的输出是一个阶跃函数, 阶跃函数是非连续的, 这样不利于逼近学习, 所以使用Sigmoid神经元作为输出层, 其数学表示为:
sigmoid(z)=11+e−z
也记为:
σ(z)=11+e−z
σ(z)
的导数有个很好的特性, 推导如下:
σ′(z)=e−z(1+e−z)2
因为
1−σ(z)=1−11+e−z=e−z1+e−z
所以
σ′(z)=σ(z)(1−σ(z))
这个性质对于神经网络的学习计算过程非常有利.
Reference
http://neuralnetworksanddeeplearning.com/ 强烈推荐机器学习 - 周志华 清华大学出版社
