从感知机到神经网络
感知机中：作为神经网络的起源算法，感知机有若干输入，而只有一个输出 这里以最简单的一层感知机举例：
W1 W2 x1 y x2此时，x1对应的权重为W1,x2对应的权重为W2,而W1和W2权重的大小对应着x1与x2各自重要程度，而他们的乘积和共同决定y的值，
#感知机激活函数 def step_func(x): if x>0: y=1#此时神经元被激活 else: y=0#未被激活 t=x1*W1+x2*W2 step_func(t)此时y激活函数图像为：
而对于神经网络，在激活函数之前几乎是一样的，而对于激活函数，神经网络则进行了极为重要的改进，同样是x1W1+x2W2的值决定神经元的激活状态，神经网络的激活函数有很多，比如relu函数，tanh函数，softmax等，这里以使用较早的sigmoid函数为例：
#感知机激活函数 import numpy as np def sigmoid(x): if 1/(1+np.exp(-x)) t=x1*W1+x2*W2 y=sigmoid(t)此时激活函数图像为： 可以看到，此时图像为平滑的曲线，即激活函数此时是可导而且是连续渐进变化的，相对于阶跃激活函数具有更好的性质。 此时，我们通过计算上层信号传播值，可以更加具体而精准地把握激活信号（重要程度）的强弱，而不是非0即1的笼统概括。如，sigmoid(1)=0.7310585786,sigmoid(2)=0.88079707,sigmoid(3)=0.95257 而step_func(1)=1, step_func(2)=1， step_func(3)=1 此外，sigmoid激活函数可导的性质，也为后面误差反向传播以更新参数W提供了必要条件，继而使得神经网络可以不断学习，修正权重值，完善模型。
综上，我们可以看到，感知机与神经网络层的最主要区别就是激活函数性质的不同，至于这些性质的重要性后面会有更明显的体现。