Dual-granularity feature fusion network for cross-modality person re- identification—利用轮廓信息进行特征融合

Posted 2023-03-03 JJxiao24

Dual-granularity feature fusion network for cross-modality person re-identification （基于双粒度特征融合网络的跨模态行人重识别）

期刊合集：最近五年，包含顶刊，顶会，学报>>网址
文章来源：中国图像图形学报

研究背景

 可见光-红外跨模态行人重识别旨在匹配具有相同行人身份的可见光图像和红外图像。现有方法主要采用模态共享特征学习或模态转换来缩小模态之间的差异，前者通常只关注全局或局部特征表示，后者则存在生成模态不可靠的问题（产生额外噪声）。事实上，轮廓是具有一定的跨模态不变性，同时也是一种相对可靠的行人识别线索。为了有效利用轮廓信息减少模态间差异，本文将轮廓作为辅助模态，提出了一种轮廓引导的双粒度特征融合网络，用于跨模态行人重识别。

 方法：在全局粒度上，通过行人图像到轮廓图像的融合，用于增强轮廓的全局特征表达，得到轮廓增广特征。在局部粒度上，通过轮廓增广特征和基于部件的局部特征的融合，用于联合全局特征和局部特征，得到融合后的图像表达。

论文分析

 文章提出了一种轮廓引导下的双粒度特征融合网络，包括两种类型的融合：一种是图像到轮廓的融合，在图像级进行，称为全局粒度融合，输出轮廓增广特征；另一种是在轮廓增广特征和局部特征之间进行融合，由于涉及到局部特征，将其命名为局部粒度融合。

网络框架

 选取ResNet50作为每个分支的主干网络，使用随机梯度下降 (stochastic gradient descent, SGD)优化器，采用warm up策略调整学习率，网络各分支的第一个卷积层使用独立的参数来捕获特定于模态的信息，而剩余的卷积块则共享权重以学习模态不变特征。

本文的主要贡献如下：1）将轮廓作为一种辅助模态引入到跨模态行人重识别模型中进行特征嵌入。
2）提出了一种轮廓引导的双粒度特征融合网络，在统一的端到端网络中同时学习全局粒度和局部粒度特征。

1、全局粒度特征融合

 全局粒度融合是指将行人图像特征融合到其对应的轮廓图像中，借助轮廓作为先验知识，增强轮廓的全局特征表达。

文章采用 RCF (richer convolutional features)（Liu 等，2017）作为轮廓检测器，其主干架构是一个经过预训练的VGG16网络。轮廓特征提取的表达为：

其中xk是原始图像，xck是生成的轮廓图像。

文章还分别探讨了融合的方式：1. 融合乘表示通过轮廓图像特征对行人图像特征进行过滤，保留行人轮廓信息而忽略其他区域的信息；2. 融合加表示给轮廓信息增加行人图像的信息；3. 拼接是在特征维度上扩展，而不损失行人图像和轮廓图像各自的信息。

 其中 指特征融合操作，分别表示按元素乘、按元素加和拼接；式子左边代表的是经过轮廓增广特征图。

2、局部粒度特征细化与融合

 局部粒度融合是指将轮廓增广特征与基于部件的局部特征进行融合，从而联合全局特征和局部特征，得到具备更强判别能力的图像表达。

现有工作在提取局部特征时通常采用均匀分割法，首先将经过主干网络的特征图平均划分为几个水平部件，每个部件的特征图经过全局平均池化层生成特征向量，随后送入各自的分类器独立地预测行人身份。

为了提高识别准确率，我们进一步采用了软分割方法（Sun 等，2018）细化局部粒度特征。具体而言，首先由区域分类器对原始特征图的各个列向量进行m分类，并得到区域划分掩膜，每 个区域划分掩膜表示列向量属于该部件区域的概率。区域分类器由全连接层和softmax函数构成。最后，将m个区域划分掩膜分别与原始特征图相乘，
通过平均池化操作得到m个特征向量。软分割法可以表达为：

3、损失函数

 本文使用Liu等人（2020）提出的异质中心三元组损失替代传统三元组损失，主要是为了缩小不同模态下同一行人图像的中心距离。

 总损失如下：

实验结果

消融实验：

根据融合方式的不同，产生不一样的性能：

总结

 本文将显式轮廓信息引入红外-可见光跨模态行人重识别中，是为了减小模态间的差异。为了充分利用轮廓特征，将轮廓作为辅助模态，提出了一种轮廓引导的双粒度特征融合网络，用于识别任务。具体实现：1. 全局粒度融合增强了原始图像的轮廓特征表示，生成轮廓增广特征；2. 局部粒度融合进一步融合基于行人部件的局部特征和轮廓增广特征，从而得到具备更强判别能力的图像表达。

 轮廓是行人的一种整体性而非局部性的特征描述，对全局特征进行轮廓增广可以引导模型学习基于形状的行人判别特征，并弥补其在长距离关系建模上的不足。

 本文模型验证了轮廓引导和双粒度特征融合的有效性，然而，模型的性能仍有待提高。后续工作将探索如何更有效地利用轮廓线索增强特征的表达能力，如尝试其他的轮廓特征融合方法或设计相应的损失函数，进一步提高识别准确率。此外，考虑采用随机擦除、噪声添加等数据扩张技术提升模型的泛化能力，以适应更加复杂多变的真实行人再识别场景。