版权声明：本文为博主原创文章，未经博主允许不得转载。
一、提纲 AlexNet:现代神经网络起源 VGG:AlexNet增强版 GoogleNet:多维度识别 ResNet:机器超越人类识别 DeepFace:结构化图片的特殊处理 U-Net:图片生成网络 实例：解剖VGG，用模型机型网络参数可视化，特征提取，目标检测 二、期待目标 1.掌握AlexNet结构特点，神经网络各层之间特征传到关系，模型总数计算; 2.了解VGG,GoogleNet,ResNet模型间的结构特点，简单设计思路; 3.了解对特殊数据，特殊任务设计的神经网络特点; 4.深度剖析VGG tf代码，学会对已有模型进行 参数读取，目标检测，特征提取。 三、AlexNet 1.背景介绍：ImageNet 1000分类模型 2.传统方法思路：图片特征提取，机器学习分类 （使用特点训练的分类器件），利用像素和像素间的关系） 3.AlextNet结构： 【227x227x3】INPUT 【55x55x96】 CONV 1: 96 11X11 filters at stride 4,pad 0 【27x27x96】 MAX POOL 1:3X3 filters at stride 2 【27x27x96】 NORM 1: Normalization layer 【13x13256】 MAX POOL 2:3X3 filters at stride 2 【13x13x256】 NORM 2: Normalization layer 【13x13x384】 CONV 3:384 3X3 filters at stride 1, pad 1 【13x13x256】 CONV 4: 384 3X3 filters at stride 1, pad 1 【13x13x256】 CONV 4: 384 3X3 filters at stride 1, pad 1 【6x6x256】 MAX POOL 3: 384 3X3 filters at stride 1, pad 1 【4096】 FC6:4096 neurons 【4096】 FC7:4096 neurons 【1000】 FC8:1000 neurons(class scores) 4.卷积神经网络基本结构：卷积层+池化层+全链接层 三.VGG-AlexNet升级版 1.VGG-AlexNet对比：卷积层变为卷积群，参数个数：138m-60m 识别率：TOP5效果显著提升了8%左右。 2.VGG作用: 结构简单，同AlexNet结构类似，均为卷积层，池化层，全链接层的组合. 性能优异：同AlexNet提升明显，同GoogelNet，ResNet相比，表现相近. 选择最多的基本模型：方便进行结构的优化，设计，SSD，RCNN等其他任务的base model. 3.Fineturning Tricks:在使用VGG作为Base Model时，前几层参数固定，不做更新，只对高层或者附加层进行Update 四.GoogLeNe:多分辨率融合（类似传统方法中的滑动窗口和分辨率金字塔） 1.结构问题是什么：由于一个卷积群进行多分辨率卷积（卷积核大小不一），因此参数暴增 2.1x1卷积的好处：减少参数。 五.全卷积结构（FCN） 1.一般的神经网络：卷积层（CNN）+全链接层（FC） 2.全卷积层：没有全链接层-----不能用于分类，适合做数据生成 3.特点：输入图片大小无限制 空间信息有丢失（没有全链接层用于学习不同区域间的联系） 参数更少，表达力更强 六.ResNet(残差网络) 1.结构特性：特征图经过卷积层+非线性层时和原特征图进行数据融合，融合结果再往后面的网络推进 2.为什么ResNet有效 2.1前向计算：低层卷积网络和高层卷积网络信息融合；层数越深，模型表达能力越强，低层空间信息更多，高层计算机理解信息越多； 2.2反向计算：导数传递更直接，越过模型，直达各层，梯度不容易衰减，传统模型虽然ReLU可以防止梯度消失，但是经过多层的ReLU后，图像本身的信息也消失了。 七、DeepFace(结构化图片的特殊处理) 1.人脸识别数据特点：结构化：所有人脸组成个相似，理论上能够实现对齐，差异化：相同位置形貌不同 2.一般神经网络处理人脸识别的问题 2.1卷积核同整张图片做卷积运算，卷积核参数共享，不同局部特性对参数影响相互削弱，如鼻子和眼睛。 3.解决方法：不同区域，不同参数 3.1 局部卷积：每个卷积核固定某个区域，不移动；不同区域不共享 卷积核;卷积核参数由固定区域数据确定 八、U-Net图片生成网络 1.通过卷积神经网络生成不同类型的图片，图片所有pixel需要生成，多目标回归 2.基本结构：CONV-FC-CONV 3.VGG U-Net 3.1上采样：记住原本的位置，在上采样时重新放回原本位置 3.2逆卷积：具体过程如下图，带学习能力的上卷积，生成图像具有更好的连贯性，更好的空间表达能力