【Person ReID】Spindle Net 论文解读

论文名称：Spindle Net: Person Re-identification with Human Body Region Guided Feature Decomposition and Fusion

论文地址：https://openaccess.thecvf.com/content_cvpr_2017/papers/Zhao_Spindle_Net_Person_CVPR_2017_paper.pdf

一、存在问题

行人重识别问题中，经常会出现两个问题：

跨图片（即不同图片）的语义信息不对齐问题

局部遮挡现象

二、贡献

提出 Body Region Guided Spindle Net，有两个阶段：

FEN：特征抽取网络

FFN：特征融合网络

构建了自有数据集：SenseReID，与其他数据集区别在于该数据集是由12个真实场景的监控所捕获并且它不包含训练数据，仅用于测试。根据camera index将某个人的图像分为probe set和gallery set。probe set包含522个ID，gallery set包含1717个ID其中包括仅由一台camera捕获的1195个附加ID

三、网络结构

步骤一：预定义

得到14个姿态点：借鉴CPM（一种姿态点估计模型），使用序列框架（sequential framework）以从粗到细的方式生成相应图，对身体关节位置产生越来越精细的估计，由于CPM计算成本高，论文进行了三处修改，降低了模型复杂性。

共享前几层的卷积参数，以提取图像特征

将池化层替换为步长为2的卷积层，以减小特征图大小

为了快速计算，输入图像的大小，框架阶段数和卷积层的通道数量都减少了。

产生7个身体区域（Body Region Proposal Network）

基于RPN根据14个姿态点生产7个part，三个宏观区域（头、上身、下身）和四个微观区域（左手、右手、左腿、右腿）

RPN最早出现于Faster RCNN（S. Ren, K. He, R. Girshick, and J. Sun. Faster r-cnn: Towards real-time object detection with region proposal networks. In NIPS, 2015. 2）

步骤二：对7个区域进行层次特征提取

FEN网络提取特征

1个全局特征和7个局部特征均通过池化后得到256维的特征向量。FEN包含了3个卷积模块和2个ROI池化模块。

FEN-C1：分别对原图经过CNN网络，其中一个是经过RPN得到7个part

FEN-P1：通过ROI pooling 得到三个宏观区域（头、上身、下身）经过FEN-C2 CNN网络得到其特征，

FEN-P2：通过ROI pooling 得到四个微观区域（左手、右手、左腿、右腿）的特征

综上， 图像越大的区域，经过CNN越多

FFN网络层次性地融合特征

FFN-1：先融合小特征，即左右腿特征和左右手特征

FFN-2：再融合大特征，即利用腿部特征和下半身得到下半身特征，手部特征和上半身得到上半身特征

FFN-3：最后融合身体特征，即将头部、上身、下身进行融合

FFN-4：将身体特征和一开始的全局特征，融合为最终特征

四、实验

1、实验数据集以及划分策略

2、比较结果

AI平台 Image 机器视觉

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。