「Computer Vision」Note on Part Affinity Fields

QQ Group: 428014259 Tencent E-mail：403568338@qq.com http://blog.csdn.net/dgyuanshaofeng/article/details/83389211

作者：Zhe Cao, Tomas Simon, Shih-En Wei, Yaser Sheikh 单位：The Robotics Institute Carnegi Mellon University

0 摘要

提出部位亲和场（Part Affinity Fields），其是一种非参数表征，用于联系身体部位。

1 介绍

叙述top-down方法的基本流程以及局限。指出bottom-up方法的某些好处以及局限。分析了两种基本bottom-up方法，并且本文在bottom-up方法上提出部位相似场，即二维向量场集合，在图像域对limbs的位置和方向进行编码。

2 方法

作者方法的整体pipeline如图1所示。首先，一个前向网络同时预测身体部位位置的二维置信度图集合((b)图)，和部位关系的二维向量场集合(©图)。部位亲和场如图2所示。图1(d)为根据部位亲和场好部位置信度图进行贪婪推理，最后输出解析结果，如图1(e)。

图 1：整体pipeline 图 2：多人姿态估计好部位亲和场

2.1 同时检测和关联

如图3所示，为同时进行检测和关联的网络结构，很明显就是类似于CPM[2]。网络结构可以分裂为两条分支，其一为上分支，用于预测置信度图，其二为下分支，用于预测亲和场。两条分支均为迭代预测结构，即分为多个阶段，后续的阶段逐步优化（refine）前级的预测结果。另外，每个阶段均有中继监督，即深度监督机制。

RGB图像首先经过一个由VGG-19前10层预训练权重组成的卷积网络，提取特征图$\mathbf{F}$，即图3中的$F$。$F$送入两条分支。在第一阶段，如图3所示，上分支预测检测置信度图${\mathbf{S}}^1={\rho }^1(\mathbf{F})$，下分支预测部位亲和场${\mathbf{L}}^1={\varphi }^1(\mathbf{F})$。在后续阶段，如图3所示，上分支的${\mathbf{F}}^1$、下分支的${\mathbf{L}}^1$和原始特征图$\mathbf{F}$级联起来，送入下一阶段的上、下分支，这其实就是auto-context策略[3]。

图 3：网络结构

如图4所示为逐步优化结果。上、下分支均采用欧式距离损失函数，如下所示。 $$f_{\mathbf{S}}^t=\sum _{j=1}^J\sum _{\mathbf{p}}\mathbf{W}(\mathbf{p})\cdot ||{\mathbf{S}}_j^t(\mathbf{p})-{\mathbf{S}}_j^{\ast }(\mathbf{p})|{|}_2^2$$ $$f_{\mathbf{L}}^t=\sum _{c=1}^C\sum _{\mathbf{p}}\mathbf{W}(\mathbf{p})\cdot ||{\mathbf{L}}_j^t(\mathbf{p})-{\mathbf{L}}_c^{\ast }(\mathbf{p})|{|}_2^2$$ 其中，${\mathbf{S}}_j^{\ast }$和${\mathbf{L}}_c^{\ast }$分别为部位置信度图和部位亲和向量场的ground-truth。 各阶段总的损失，如下所示，整个网络可端到端训练。 $$f=\sum _{t=1}^T(f_{\mathbf{S}}^t+f_{\mathbf{L}}^t)$$

图 4：逐阶段优化结果

2.2 用于部位检测的置信度图

2.3 用于部位关联的部位亲和场

2.4 利用部位亲和场PAFs进行多人解析

3 结果

3.1 MPII多人数据集结果

3.2 COCO关键点竞赛结果

3.3 运行时间分析

4 讨论

[1] Realtime Multi-Person 2D Pose Estimation using Part Affinity Fields CVPR 2017 [paper] [2] Convolutional Pose Machines CVPR 2016 [paper] [Caffe code] [3]