论文笔记之: Hierarchical Convolutional Features for Visual Tracking

Posted The Blog of Xiao Wang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了论文笔记之: Hierarchical Convolutional Features for Visual Tracking相关的知识,希望对你有一定的参考价值。

 Hierarchical Convolutional Features for Visual Tracking 

ICCV 2015

 

  摘要:跟卢湖川老师的那个文章一样,本文也是利用深度学习各个 layer 之间提取出来的不同特征进行跟踪。因为各个层次提出来的 feature 具有不同的特征。并且将各个层级的特征用现有的 correlation filter 进行编码物体的外观,我们在每一个层上寻找最佳响应来定位物体。

  

  引言:讨论了现有的跟踪问题存在的挑战以及现有方法取得的一些进展,并且引出了研究 CNN 各个 layer 的特征对跟踪结果的影响。

  现有的 deep learning 的跟踪方法基本都是依赖于训练分类器的方式来实现物体的跟踪。但是这种做法存在两个技术上挑战:

  1. 大部分的算法都只是用到了最后一层提出的 feature,这一层的特征其实是具有一定的偏差性的;

    对于高层视觉识别问题,这些特征提供了有效的语义信息。但是跟踪并不是识别其semantic classes,而是去定位物体的位置。

    那么,很明显,仅仅用最后一层的特征,并不是最优的选择。

  2. 第二个问题是关于提取训练样本。

       训练一个 robust 的分类器需要大量的两本,但是这个在跟踪问题上,并不是非常的适合。因为在一个物体周围进行采样,很难确定哪个算是正样本,哪个是负样本。

  

  本文通过两种方式来解决这两个技术难题。

  (1)利用神经网络的各个层的特征,联合的来表示所要跟踪的物体;

  (2)在各个层次自适应学习 correlation filter,而不必去进行样本的 sampling。

  

  本文总结的几个贡献点为:

  1. 结合了各个层次的特征,进行物体的特征表示;

  2. 采用线性 correlation filter 的方式在每一层来降低 sampling ambiguity。我们 infer 物体位置是通过一种 multi-level correlation response map in a coarse-to-fine fashion. 

  3. 充分的实验。

 

 


 

  为了更好的理解现有方法和传统方法的区别和联系,本文的相关工作写的还是挺不错的。现在我们来分析下这个小节:

 

  Tracking by Binary Classifiers

  跟踪问题可以看做是局部窗口内的一个重复的检测问题,即:tracking by detection的思路。这种分类器学习的方式经常是 online的。

  但是,在物体周围采样本的时候,经常会遇到模糊采样的问题,导致轻微的不准确采样就会使得分类器不准确,从而导致逐渐的偏移。已经有许多算法提出以尝试解决上述问题。核心的 idea就是如何合适的更新一个判别分类器来降低 drift。这里作者给出了许多例子,这里就不一一列举了。 

 

  Tracking by Correlation Filters

  相关滤波最近吸引了很多研究者的眼球,由于其采用了快速傅里叶变换,速度极快。基于 correlation filter 的跟踪方法回归所有输入特征的 circular-shifted versions 到一个目标高斯函数,从而不使用 hard-thresholded samples of target appearance.

  本文也是基于这种方法来做得,不同的地方在于,本文的方法结合了不同层次上的特征,而不是传统手工特征。 

  那么,看到这里,其实本文的工作一句话来说就是:组合了深度学习的特征 +  现有的 correlation filter 进行跟踪。其实,学术贡献点并不是很大,居然可以发 ICCV 。。。

  

  Tracking by CNNs .

   视觉表示是跟踪问题中非常重要的问题,传统方法设计了很多非常有效的表示,例如:子空间表示,颜色直方图。最近CNN 的表示已经被广泛的验证了其有效性。

   然后作者列举了几个深度学习的工作,指出其不足之处在于:仅仅用到了最后一层的 feature,这是远远不够的。

   

  可以看出相关工作的写作,是非常具有针对性的。列举前人工作的时候,要根据自己方法的特色来划分类别和指出别人的不足。

  本文的贡献点是:CNNs +  different feature + correlation filter 

  所以,作者从这三个角度,分别攻击了前人方法的不足,其实是借助了另外的两个成分来弥补当前谈论的方法的缺陷。这个写作技巧可以借鉴在以后的文章写作中去。 

 

  下面这幅图展示了各个 layer 特征的不同。

 


 

  本文所提出的方法流程

 

    文章的主题部分大致分为几个部分:

  1. 卷积特征的提取;

  2. Correlation Filter 的相关介绍;

  3. Coarse-to-Fine Translation Estimation ;

  4. Model Update 

 

  本文的算法流程如下所示:

  

 

 

 

 

 


  实验结果:


 

  

 

 

 

 

 

 

 

以上是关于论文笔记之: Hierarchical Convolutional Features for Visual Tracking的主要内容,如果未能解决你的问题,请参考以下文章

[论文阅读笔记] HARP Hierarchical Representation Learning for Networks

论文笔记 Hierarchical Reinforcement Learning for Scarce Medical Resource Allocation

论文阅读笔记:Hire-MLP Vision MLP via Hierarchical Rearrangement

论文笔记:Swin Transformer: Hierarchical Vision Transformer using Shifted Windows

论文笔记:Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic

视频文本检索论文笔记:Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning