本文仅是博主自己学习用来加深印象和留存整理，对该内容有兴趣请去阅读原文。
原文地址： https://mp.weixin.qq.com/s?__biz=MzI0ODcxODk5OA==&mid=2247485872&idx=1&sn=e8bfaa044116dd278faef5617e04f122
单图像分类器的深度神经网络：
先检测低级图形，形状或棱边更复杂的特征，人脸或猫更具细节的特征，活动或动作递归神经网络（RNN）：对当前情形的判断不止与现在的输入有关还和以前的状态有关，如之前有一副超市的画面，现在一个人手拿培根，那他更可能是在购物而不是做饭。
递归神经网络就是把中间隐含层当作记忆。
RNN改写记忆的方式是无序的，更新过程十分混乱，很容易造成错误的认识。 LSTM通过以下方式实现长久的精确的记忆： 1. 添加遗忘机制。判断不相关的不记 2. 添加保存机制。有价值的保存到长期记忆中 3. 将长期记忆聚焦为工作记忆。判断长期记忆中立刻发挥作用的用于工作
神经网络
RNN
LSTM
在新时间t，会收到一个新的输入xt，此时还需将长期记忆和工作记忆更新。 通过对输入xt的计算可以学习到信息，作为长期记忆的候选记忆。通过激活函数对候选记忆进行处理判断，0和1之间，最终忘记不需要的并保存有用的，即得到更新后的长期记忆。
工作记忆的更新：关注向量为1（一个公式判定后为1）的则立刻发挥作用。
总结来说，普通的RNN只是利用一个方程式来更新它的隐状态/记忆，而LSTM则是利用数个方程组
…… 额，后面的就暂时看不懂了。。。暂时先去学习下别的基础的再回来重新看一下。。。
