网络结构：
每一个节点所做的工作：
1、将输入的值（原始输入或者上一层的输入）进行线性组合
2、使用激活函数进行非线性处理
逻辑回归（一种最简化的网络结构）：
中间的节点使用W和b参数对输入的x1、x2、x3进行线性化，然后通过激励函数得到激励后的预测值。
激励函数：
激励函数的作用是提供规模化的非线性化能力
三种基本的激励函数：
Sigmoid函数：
变化区间为0~1，优点是在整个区间段可导，缺点是在坐标系上不是中心对称的。
tanh函数：
对Sigmoid函数进行平移得到的，使用该函数不需要使用数据中心化，使得表现更好。
上述两个函数的共同缺点是：
在x比较小或者比较大的时候，其学习速率较慢。
ReLU函数：
效率更高，但是其在0处的导数会导致问题，所以可以对其进行改造。其是目前使用较多的激励函数。
损失函数：
用于评价学习出来的y值与真实的y值之间的差异。
图示的函数是单次训练损失的计算公式：
y^是学习到的值，y是原始的值
全部训练的损失：
梯度下降：
由于真实学习的y与实际的y存在差异，所以，要以此根据损失函数来调整w和b以使得损失函数达到局部最小值，从而使学习的输出y更靠近实际的输出y，这是一个过程，需要多次对w和b进行调整，以达到最优值。
α是为了不使得一次的求导对w的影响太大。
网络向量化（神经网络的向前传播、神经网络的运算、神经网络的预测）：
网络梯度下降（反向传播）：
以上来自慕课网网课
