PartialReID-----Deep Spatial Feature Reconstruction for Partial Person Re-identification: Freestyle

Posted 2022-09-10 ciweizailianai

转：https://blog.csdn.net/weixin_36411839/article/details/81877916

问题：一张图是局部的行人图像，也就是被遮挡了的行人，另一张是一个完整的行人图像ReID

目前解决：

①将它们resize成固定尺寸的图像，然利用CNN提取用出固定长度特征向量，这种方法最明显的缺陷是会导致行人图像的形变（Deformation），严重影响reID效果。

②是滑窗匹配方法（SWM），在gal图像上设定一个和prob图像size一致的窗，然后在gal上找到与prob最相似的图像区域。但是这种方法也有不足的地方，就是在prob的尺寸大于gal的尺寸的情况下就不适用了。

③一种part-based的方法，提取出图像局部块的局部特征进行匹配，由于只能获取局部的特征信息，所以再利用SWM的方法补全全局特征信息，这种方法的效果相对来说好一些，但这种方法会导致计算量增加，因为它要反复提取子区域的特征信息blahblah

 

X：FCN提取局部图像得到的feature map，

Y：FCN提取gal图像得到的feature map，

X和Y分别分成N块和M块，因为X和Y的大小不一样，所以分成的块数也不一样，但是每个块的大小一样，块大小的选取后面会讨论到。d：通道数，N等于w乘h，代表宽和高，即图像水平方向分成的块数，垂直方向分成的块数。然后，对于每个Xn的小块，去寻找一个Y的线性组合来近似，这样来找到Y图像中近似的区域来重构X。

为了找到这样一个组合，论文用到这个稀疏表示方程。

 

 

 

 

在FCN模型中，对于id的映射是通过最后一层pooling层利用熵损失来实现的，就像下面左图所示。为了进一步提高FCN提取的深度特征的辨别能力，作者用DSR来对FCN的预训练模型进行微调，框架如下面右图所示。

 

 首先给出损失函数，在这里需要解释一下的是这个α参数，当X和Y特征是来自同一id时，α取1，反之取-1。

然后交替执行步骤1和步骤2来最优化损失函数中的θ和W（θ是FCN网络的参数）。步骤1固定θ，优化W，这个公式其实就是前面的稀疏表示方程的一个变形。步骤二固定W优化θ，用一个标准的随机梯度下降就行了。

 

 

 

 

Block选取：

 

 

 

实验： 

第一个实验是和resizing model作比较的，也就是探讨图像形变对局部reID的影响。实验分了两个维度进行。一个是分别在Partial reID数据集和Partial iLIDS数据集上进行，另一个维度是single-shot和multi-shot，可以看出无论那种数据集或者实验设置，论文提出的DSR都比resizing model效果好很多。所以实验结果足以表明，人像的形变对识别是有非常大的影响。

 第二个为了观察block的size对效果的影响，作者分成了三种不同size的block组合，分别是单个1*1的，1*1 + 2*2组合，还有1*1 + 2*2 +3*3组合的。实验的维度和上一个实验相同，两个数据集和single-shot和multi-shot的设置，从这四个图来看，绿色线所代表的1*1 + 2*2 + 3*3组合的multi-scale block的效果是最好的。原因很简单，single-scale的block包含更多的局部信息，而multi-scale的block能够提供更多信息以使DSR对于尺度变化更加鲁棒。

第三个下一个实验是和之前state-of-the-art局部reID方法进行比较，实验结果如上表所示。效果也是很明显的，DSR的方法比此前的任何一种reID方法都更优秀。而且，multi-scale block的效果更优异

然后是计算效率对比，还是和上一个实验的那几个方法对比。SWM由于要反复提取图像中子区域的特征信息，计算也就比较大，而DSR相对比来说计算效率是最好的，而且multi-scale block相比于single-scale block的设置在计算时间上只有0.01~0.02秒的增加，但效果确能提升不少。

 

 最后是分析训练中利用DSR对预训练模型进行微调的效果，在前面介绍过，DSR引入到FCN模型中用来学习出更有辨识力的特征。作者在Partial reID数据集上进行了single-shot的实验。上图显示了有DSR微调的FCN模型和没有的模型，并展示了两种模型的ROC和CMC曲线，能很直观地看出，有DSR微调的模型效果优于没有的，这就表明，引入DSR进行微调能后FCN学习出更有辨识力的特征。