论文笔记-Feature Pyramid Networks for Object Detection

xiaoxiao2021-02-28  71

本文作者提出了一种特征金字塔网络(FPN),可以作为一种通用的特征提取器用于多个应用。作者将FPN与Faster R-CNN结合,在COCO2016上运行结果超过了现有的单一模型的表现。

1. 介绍

图像金字塔的优势就是可以提供一个多尺寸的特征表征,每一层级的语义更强。下图是最近的一些金字塔层级的网络架构: (a)图像金字塔的模型。每一尺寸图像连接一卷积网络,输出多个尺寸的特征映射,然后进行预测。缺点是速度很慢,且内存无法满足训练很深的卷积网络,该网络只能用在测试上。

(b)较常规的模型。采用单一尺寸的图像,在网络的最后一层输出上进行预测。

(c)在卷积网络的多个中间层,提取出不同尺寸大小的特征映射,分别进行预测。

(d)本文提出的网络架构(作者叫它特征金字塔),左边采用自下而上的模型,右边采用自上而下的模型。左右两边的模型采用侧向连接。该模型的优点是将低分辨率,语义很强的特征与高分辨率,语义较弱的特征通过右边自上而下的结构和侧边连接结合起来,这样在所有层级上的特征都有很丰富的语义。

还有很多模型采用了和本文类似的特征金字塔的架构,如Figure 2 上面的图。它们的目的是产生一个高分辨率的高级别的特征映射,只在该特征映射上进行预测。本文的模型是在每一个层级的特征映射上进行单独预测。 作者将FPN与Faster R-CNN结合,与使用ResNets作为基础架构的Faster R-CNN进行性能比较,FPN结合Faster R-CNN在预测边界框上将平均召回率提高了8%,在目标检测上,提高了COCO数据集平均精度2.3%,PASCAL平均精度3.8%。

2. 特征金字塔网络

网络架构主要关注RPN和Faster R-CNN检测网络。特征映射之间的卷积网络采用ResNets。主要分为自下而上结构,自上而下结构和侧边连接结构。

自下而上结构

该结构就是简单的卷积前向过程。作者将不改变特征映射尺寸的多个卷积层合称为一个stage,每一个stage的最后一个残差块的输出作为该stage的特征输出,传到自上而下的结构。作者共定义了C2,C3,C4,C5四个特征输出,尺寸分别为32*32,16*16,8*8,4*4。

自上而下和侧边连接结构

自上而下结构采用C5的特征输出作为最上层,每一层经过2倍的上采样后,再与侧边传过来的,经过1*1卷积的自下而上的特征相加,得到下一层的特征映射,每一层新得到的特征映射都再经过3*3的卷积,来得到该层最终的特征映射,这样可以减少上采样带来的混叠效应。最终特征映射为P2,P3,P4,P5。

作者固定了每一个卷积后的特征的通道维度,设为256。

3. 应用

FPN应用到RPN网络中,产生推荐区域

RPN网络只是使用一个尺寸的特征映射进行最后的分类预测和边框回归,作者用FPN网络产生多个尺寸的特征映射,分别进行分类预测和边框回归。作者为每一层只设置了一种尺寸的anchor box,对应P2,P3,P4,P5,P6层的尺寸分别为32*32,64*64,128*128,256*256,512*512。作何对每一层的anchor box采用了三种长宽比,分别为1:2,1:1,2:1,所以整个网络共有15个anchor boxes。

注:作者增加P6层主要是为了增加512*512的anchor box尺寸,P6由P5经过2倍上采样得到,没有用于Fast R-CNN。

作者基于anchor box与真实边框的交并比来为每个anchor box分配标签。具有最高的IOU或IOU大于0.7,该anchor即为正例。IOU小于0.3的anchor为负例。

FPN应用到Fast R-CNN,进行目标检测

Fast R-CNN的推荐区域有很多,且尺寸不同。为了将FPN应用到Fast R-CNN中,作者将不同大小的RoI放置在金字塔的不同层上,视为一种图像金字塔的结构。作者将具有宽度为w,高度为h的RoI设置到FPN的Pk层: 其中224是ImageNet的预训练尺寸,k是w*h=224*224的RoI映射到的目标层。作者类比基于ResNet的Faster R-CNN,将最开始的基准k0设为4。

4. 实验

4.1 使用FPN的RPN

实施细节 作者在8个GPU上使用同步随机梯度下降,每个GPU的mini-batch包含两幅图像,每个图像包含256个anchors。使用0.0001的权重衰减和0.9的动量。前30k的mini-batches使用0.02的学习率,后10k采用0.002的学习率。整个过程需要8个小时。

注:ARs, ARm, and ARl分别代表小,中,大三个尺寸对象的平均召回率 AR100 and AR1k分别代表每张图像上选出100个和1000个推荐区域

从(a),(b),(c)的对比可以看出FRN的作用确实很明显。另外(a)和(b)的对比可以看出高层特征并非比低一层的特征有效。

(d)表示只有横向连接,而没有自顶向下的过程,也就是仅仅对自底向上(bottom-up)的每一层结果做一个1*1的横向连接和3*3的卷积得到最终的结果,有点像Fig1的(b)。从feature列可以看出预测还是分层独立的。作者推测(d)的结果并不好的原因在于在自底向上的不同层之间的semantic gaps比较大。

(e)表示有自顶向下的过程,但是没有横向连接,即向下过程没有融合原来的特征。这样效果也不好的原因在于目标的location特征在经过多次降采样和上采样过程后变得更加不准确。

(f)采用finest level层做预测(参考Fig2的上面那个结构),即经过多次特征上采样和融合到最后一步生成的特征用于预测,主要是证明金字塔分层独立预测的表达能力。显然finest level的效果不如FPN好,原因在于RPN网络是一个窗口大小固定的滑动窗口检测器,因此在金字塔的不同层滑动可以增加其对尺度变化的鲁棒性。另外(f)有更多的anchor,说明增加anchor的数量并不能有效提高准确率。

4.2 使用FPN的Fast R-CNN(固定推荐区域的数量)

同理,将FPN用于Faster RCNN的实验结果如下表Table3。 下表Table4是和近几年在COCO比赛上排名靠前的算法的对比。注意到本文算法在小物体检测上的提升是比较明显的。 另外作者强调这些实验并没有采用其他的提升方法(比如增加数据集,迭代回归,hard negative mining),因此能达到这样的结果实属不易。

5. 总结

作者提出的FPN(Feature Pyramid Network)算法同时利用低层特征高分辨率和高层特征的高语义信息,通过融合这些不同层的特征达到预测的效果。并且预测是在每个融合后的特征层上单独进行的,这和常规的特征融合方式不同。

FPN的代码实现,请点击这里。

下面是实现的FPN的结构图:

转载请注明原文地址: https://www.6miu.com/read-2300342.html

最新回复(0)