在卷积神经网络中,我们经常会碰到池化操作,而池化层往往在卷积层后面,通过池化来降低卷积层输出的特征向量,同时改善结果(不易出现过拟合)。
“如果人们选择图像中的连续范围作为池化区域,并且只是池化相同(重复)的隐藏单元产生的特征,那么,这些池化单元就具有平移不变性 (translation invariant)。”
注意这两点:1、连续范围 2、池化相同隐藏单元产生的特征
这意思是指,在池化单元内部能够具有平移的不变性,它的平移范围也是有一定范围的,因为每个池化单元都是连续的,所以能够保证图像整体上发生了平移一样能提取特征进行匹配。
无论是max还是average都是在提取区域特征,均相当于一种抽象,抽象就是过滤掉了不必要的信息(当然也会损失信息细节),所以在抽象层次上可以进行更好的识别。
至于max与average效果是否一样,还是要看需要识别的图像细节特征情况,这个不一定的,不过据说差异不会超过2%。
不过仔细点说的话,评估特征提取的误差主要来自两个方面: (1)邻域大小受限造成的估计值方差增大,average能减小这种误差。 (2)卷积层参数误差造成估计均值的偏移,max能减小这种误差。
也就是说,average对背景保留更好,max对纹理提取更好,如果是识别字体什么的,应该考虑max.
作者:三符
链接:https://www.zhihu.com/question/34898241/answer/60705313
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。