运动目标跟踪（十七）--一些跟踪算法简述及跟踪牛人资料整理

Posted Eason.wxd

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了运动目标跟踪（十七）--一些跟踪算法简述及跟踪牛人资料整理相关的知识，希望对你有一定的参考价值。

这篇文章，主要记录一些效果和时间不是很优秀的跟踪算法，以备用。很想全部列出来，发现网上基本没有资料，都要去看论文，自己又不做研究，所以，先这样吧。

L1APG:

原文：

http://www.cnblogs.com/pixel/archive/2012/10/17/2728243.html

以防原文链接失效，引用：

最近在看有关将L1范数最小化运用到视频跟踪上的文章，这里是文章和实现代码的下载地址http://www.dabi.temple.edu/~hbling/code_data.htm，有兴趣的同学可以关注一下，并且希望和各位多多交流。

     我把它的代码好好看了一下，并且对多组图像做了实验，效果还好。下面是我对其代码的剖析:

第一阶段：模板基底T的初始化

1.手动选定第一个目标模板t1

2.在高斯分布下随机扰动t1角点的坐标，得到其它9个目标模板t2,t3,...,t9

3.通过图像的仿射变换，将十个目标模板从原图像中“拿出”(crop),并缩放为同样大小的十幅目标模板图像(如12*15大小)。具体做法如下：

　 对每个目标模板，都首先计算出仿射变换参数Ｒ＝[R(1,1), R(1,2), R(2,1), R(2,2), R(1,3), R(2,3)]。然后，输入Ｒ，原图像，和目标模板图像大小，即可通过图像仿射变换处理得到目标模板图像。

４．将每幅目标模板图像都写作向量形式，并作正规化处理，得到最终的初始化Ｔ

第二阶段：粒子样本Ｓ的初始化

１设定粒子样本数为Ｎ（如６００）

２初始化Ｓ为对应ｔ１模板的Ｒ，即每个粒子样本都初始化为对应ｔ１模板的Ｒ

第三阶段：

１．在高斯分布下随机扰动Ｓｔ生成同Ｓｔ具有相同均值与方差的Ｓｔ＋１

２. 对每个粒子样本，输入Ｓｔ＋１中对应的仿射参数，通过图像仿射变换处理得到对应的候选模板图像ｙｔ＋１（ｉ），图像大小等于目标模板图像大小．

３．将每幅候选模板图像都写作向量形式，并作正规化处理

第四阶段：最小误差限

１．求解最小二乘问题（９）

２．算得上限ｑi,并按降序排列之.

第五阶段：解l1最小化问题（11）

  1. 对qi满足阈值的候选模板yi，用APG方法解（11）,并算出对应的观测概率pi。
  2. 对qi不满足阈值的候选模板yi，令pi=0
  3. 选取最大pi对应的系数ci作为要找的目标系数和粒子xi作为要找的目标粒子.

第六阶段 更新

1，检测遮挡并更新(11)中的u

2，更新T

3  通过重采样，更新S。

第七阶段

画出该帧图画的检测结果

End

随后各帧，返回第三阶段,依次处理…

      看文章的同时，可以看代码帮助理解文章中的算法和更多的细节。但是对于要做研究的同学，只看懂人家怎么做的还不够，还要更深的理解其中的数学原理，为什么这样做就能产生这一效果，并能预测到若改动一些参数或式子，会产生什么样的效果改变，并通过实验验证之。刚走上这条道，希望技术与科学双丰收，共勉!

IVT:

原文：

http://blog.csdn.net/u010545732/article/details/18036423

IVT基于增量PCA的思想，在获得当前帧之前若干帧跟踪结果所构成图像空间条件下，对所得图像空间进行PCA处理，获得历史跟踪结果的均值和特征向量。

之后，跟踪过程由粒子滤波引导。为了实现对下一帧中目标得识别与跟踪，以当前帧跟踪结果为均值，预先设定的阈值为方差，抽取粒子作为跟踪候选目标，送入之前训练好的特征子空间中，计算候选目标与特征子空间中心之间的距离。则跟踪结果即为距离最短的候选点。继续下一帧跟踪，积累至5帧后，利用积累之结果对原有的子空间进行增量更新。获得新的均值和特征向量，在之后的5帧内，采用相同的均值和特征向量对粒子进行识别。

参考文献

D.Ross,et.al Incremental learning for robust visual tracking,IJCV，2008

MTT算法

     Multi-Task Tracking (MTT)跟踪算法，在粒子滤波框架下，将目标跟踪作为多任务稀疏学习问题，粒子模型为动态更新地字典模板线性组合。学习每个粒子的表示被考虑为一个单独的任务。学习问题可以使用一个加速梯度（APG）的方法解决。MTT有计算上的吸引力，与L1跟踪器相比，提高了跟踪的效率。

     1.1跟踪目标的多任务表示

          在多任务学习（MTL）框架，多任务共享特征的依赖关系，或联合解决参数学习以利用它们的内在关系。把跟踪问题视为MTL问题，学习粒子表示视为一个单独的任务，一般，粒子表示相互独立的计算，如L1跟踪器，在MTT中，在MTL环境下联合表示粒子。

          在目前跟踪状态周围，按照zero-mean高斯分布，随机采样粒子。

     1.2通过混合模式联合稀疏

          联合稀疏鼓励所有的粒子表示单独稀疏，共享相同的字典模板。近年来，联合稀疏被用于解决MTL问题。

SCM算法

基于稀疏协同模型的鲁棒目标跟踪算法。

利用一种全局模板和局部表示的鲁棒外观模型。

提出一种基于稀疏的判别分类器SDC和基于稀疏的生成模型SGM。在SDC模块，介绍了一种有效的方法计算置信值，与背景相比，分配更多的权重给前景。在SGM模块，提出了一种新的基于直方图的方法，处理遮挡情景考虑各块的空间信息。

此外，更新方案综合考虑最新观测和原始模板，从而使跟踪器有效地处理外观变化和减轻漂移问题。

引言

视觉跟踪的目标的是估计图像序列集中目标的状态。它在很多的视觉应用中，如运动分析、行为识别、视频监控和交通监控，起着关键的作用。尽管近些年取得了很大的进步，由于光照变化、摄像机运动、遮挡、姿态变化和形状变形引起的外观变化，为复杂动态场景开发一个鲁棒算法仍然是一个具有挑战性的问题。

 

在一个固定帧中，外观模型用来表示目标和验证观测。在连续帧中，运动模型用来预测目标的可能状态。本文中，我们关注外观模型，因为它是任何跟踪算法最重要的部分。

 

一个有效的外观模型要考虑几点因素：

1、一个目标可以被不同的特征表示。如灰度，纹理，颜色，超像素，Haar-like特征。此外，表示方法可以建立在全局模板或局部直方图上。

本文中，使用灰度值表示，因为简单有效，此外，采用全局模板的优势区分背景目标和局部块的有效性处理局部遮挡。

2、该模型可验证任何状态观测，或者是生成式模型或者是判别式模型。对于生成式方法，跟踪成为了在目标物体附近搜索最相似的区域。对于判别式方法，跟踪视为一个二值分类问题，旨在设计一个分类器从背景中区分出目标物体。此外，利用生成式和判别式模型的优点，已提出了几种算法。

我们提出一种简单而鲁棒的模型，利用生成式模型解释外观变化，利用判别分类器有效地从背景中区分前景目标。

3、第三个问题就是备受关注的在线更新方案，以使跟踪器能够适应目标对象和背景的外观改变。很多成功的更新方法已被提出，然而，跟踪结果的直接和频繁的更新，由于积累的错误，可逐渐地导致漂移，尤其是在遮挡场景时。

为了捕获外观变化和减少跟踪漂移，我们提出一种方法：更新外观模型时考虑遮挡。

稀疏表示

稀疏表示近年来被应用于视觉问题，包括图像增强、目标识别、视觉跟踪。Mei等人将稀疏表示应用于视觉跟踪，利用琐碎的模板处理遮挡。尽管被证明成功，仍然有一些问题需要解决。第一，高计算成本。第二，最小重构误差的样本被视为跟踪结果，不确定性可能积累并导致跟踪失败。

 

提出的算法

提出一个协同模型：整合基于全局模板的判别式分类器与使用局部表示的生成式模型。

基于稀疏的判别分类器（SDC）：受稀疏表示分类器成功的启发，我们提出基于稀疏判别分类器目标跟踪。简单起见，我们使用向量X表示目标图像的灰度值。

 

基于稀疏的生成式模型（SGM）:受稀疏编码在图像分类和目标跟踪成功的激发，我们提出生成式模型的目标表示，考虑局部块信息和遮挡。

 

在我们的跟踪算法中，基于整体模板的置信度值与基于局部块的似然函数共同作用，有助于一个有效且鲁棒的概率描述。


更新方案

SDC和SGM各自独立被更新。

对于SDC模型，每几帧（我们试验中取5）更新一次消极模板，图像区域偏离当前的跟踪结果（如多于8像素时）。在整个序列中，积极模板保持不变。因为SDC模型旨在从背景中区分前景，它必须确保积极模板和消极模板是正确和不同的。这样，SDC模型是自适应的、有判别力的。

对于SGM模型，相同序列，字典D是固定的。因此，字典不会被跟踪失败或遮挡更新恶化。为了捕获新的外观和从遮挡中恢复目标，模板直方图被式（11）更新。

   if  ， （11）
新的直方图由第一帧的直方图和按照常量分配的权重最近存储的直方图组成。是新一帧跟踪结果的遮挡情况，由相应遮挡指示向量计算，使用式（12）

                                     （12）

只要时，就执行更新。该更新方法保留第一个模板，其通常是正确的，并考虑最新到来的模板。

实验评估

定量比较：
1、中心误差

2、平均重叠率

定性比较：

1、严重遮挡

2、运动模糊

3、旋转

4、光照变化

5、复杂背景


LSK

利用局部稀疏外观模型和K-Selection的视觉跟踪算法，K-Selection是一种新的稀疏字典学习方法。

原文：

http://blog.csdn.net/minstyrain/article/details/38640541

这个应该是目前最全的Tracking相关的文章了,转载请注明出处。

一、Surveyand benchmark：

1.      PAMI2014：VisualTracking_ An Experimental Survey，代码：http://alov300pp.joomlafree.it/trackers-resource.html

2.      CVPR2013:Online Object Tracking: A Benchmark(需翻墙)

3.      SignalProcessing  2011：Video Tracking Theory andPractice

4.      ACCV2006：Tutorials-Advances in VisualTracking：中文：视觉跟踪的进展

5.      Evaluationof an online learning approach for robust object tracking

 

二、研究团体：

1.      Universityof California at Merced：Ming-HsuanYang视觉跟踪当之无愧第一人，后面的人基本上都和气其有合作关系，他引近9000

PublicationsPAMI：6，CVPR：26，ECCV：17，BMCV：6，NIPS：6，IJCV：3，ACCV：3

代表作：RobustVisual Tracking via Consistent Low-Rank Sparse Learning

FCT,IJCV2014:FastCompressive Tracking

RST,PAMI2014:RobustSuperpixel Tracking; SPT,ICCV2011, Superpixeltracking

SVD,TIP2014:LearningStructured Visual Dictionary for Object Tracking

ECCV2014: SpatiotemporalBackground Subtraction Using Minimum Spanning Tree and Optical Flow

PAMI2011:RobustObject Tracking with Online Multiple Instance Learning

MIT,CVPR2009: Visualtracking with online multiple instance learning

IJCV2008: IncrementalLearning for Robust Visual Tracking

 

2.      SeoulNational University Professor：KyoungMuLee2013年在PAMI上发表5篇，至今无人能及

文献列表PAMI:13,CVPR:30,ECCV:12,ICCV:8,PR:4

PAMI2014：A GeometricParticle Filter for Template-Based Visual Tracking

ECCV2014: Robust Visual Tracking with Double Bounding Box Model

PAMI2013:HighlyNonrigid Object Tracking via Patch-based Dynamic Appearance Modeling

CVPR2014: Interval Tracker: Tracking by Interval Analysis

CVPR2013: MinimumUncertainty Gap for Robust Visual Tracking

CVPR2012:RobustVisual Tracking using Autoregressive Hidden Markov Model

VTS,ICCV2011:Tracking by Sampling Trackers.

VTD,CVPR2010: VisualTracking Decomposition

TST,ICCV2011:Tracking by sampling trackers

3.      TempleUniversity，凌海滨

Publication List PMAI:4,CVPR:19,ICCV:17,ECCV:5,TIP:9

CVPR2014:Multi-targetTracking with Motion Context in Tenor Power Iteration

ECCV2014:TransferLearning Based Visual Tracking with Gaussian Process Regression

ICCV2013:Findingthe Best from the Second Bests - Inhibiting Subjective Bias in Evaluation ofVisual Tracking Algorithms

CVPR2013: Multi-targetTracking by Rank-1 Tensor Approximation

CVPR2012:RealTime Robust L1 Tracker Using Accelerated Proximal Gradient Approach

TIP2012: Real-timeProbabilistic Covariance Tracking with Efficient Model Update

ICCV2011: BlurredTarget Tracking by Blur-driven Tracker

PAMI2011ICCV2009: RobustVisual Tracking and Vehicle Classification via Sparse Representation

ICCV2011:RobustVisual Tracking using L1 Minimization

L1O,CVPR2011: Minimumerror bounded efficient l1 tracker with occlusion detection

L1T, ICCV2009:Robustvisual tracking using l1 minimization

4.      HongKong Polytechnic University AssociateProfessor: Lei Zhang

PapersPAMI:2,CVPR:18,ICCV:14,ECCV:12,ICPR:6,PR:28,TIP:4

STC,ECCV2014: FastTracking via Dense Spatio-Temporal Context Learning

FCT,PAMI2014,ECCV2012:Fast CompressiveTracking, Minghsuan Yang

IETComputer Vision2012:Scale and Orientation Adaptive Mean Shift Tracking

IJPRAI2009:RobustObject Tracking using Joint Color-Texture Histogram

5.      大连理工大学教授 卢湖川国内追踪领域第一人

CVPR2014:VisualTracking via Probability Continuous Outlier Model

TIP2014:VisualTracking via Discriminative Sparse Similarity Map

TIP2014: RobustSuperpixel Tracking

TIP2014: RobustObject Tracking via Sparse Collaborative Appearance Model

CVPR2013: LeastSoft-threshold Squares Tracking, MinghsuanYang

TIP2013:Online Object Trackingwith Sparse Prototypes, Minghsuan Yang

SignalProcessing Letters2013: Graph-RegularizedSaliency Detection With Convex-Hull-Based Center Prior

SignalProcessing2013: On-line LearningParts-based Representation via Incremental Orthogonal Projective Non-negativeMatrix Factorization

CVPR2012:RobustObject Tracking viaSparsity-based Collaborative Model, MinghsuanYang

CVPR2012:VisualTracking via Adaptive Structural Local Sparse Appearance Model, MinghsuanYang

SignalProcessing Letters 2012:Object tracking via 2DPCA and L1-regularization

IETImage Processing 2012:Visual Tracking via Bag of Features

ICPR2012:Superpixel Level Object Recognition Under Local Learning Framework

ICPR2012: Fragment-BasedTracking Using Online Multiple Kernel Learning

ICPR2012: ObjectTracking Based On Local Learning

ICPR2012: ObjectTracking with L2_RLS

ICPR2011:ComplementaryVisual Tracking

FG2011:OnlineMultiple Support Instance Tracking

SignalProcessing2010: A novel methodfor gaze tracking by local pattern model and support vector regressor

ACCV2010: OnFeature Combination and Multiple Kernel Learning for Object Tracking

ACCV: RobustTracking Based on Pixel-wise Spatial Pyramid and Biased Fusion

ACCV2010: HumanTracking by Multiple Kernel Boosting with Locality Affinity Constraints

ICCV2011:SuperpixelTracking, Minghsuan Yang

ICPR2010: RobustTracking Based on Boosted Color Soft Segmentation and ICA-R

ICPR2010: IncrementalMPCA for Color Object Tracking

ICPR2010: Bagof Features Tracking

ICPR2008: GazeTracking By Binocular Vision and LBP Features

6.      南京信息工程大学教授,KaiHua Zhang

7.      OregonstateProfessor,Sinisa Todorovic由视频分割转向Tracking

CSL,CVPR2014: Multi-ObjectTracking via Constrained Sequential Labeling

CVPR2011:MultiobjectTracking as Maximum Weight Independent Set

8.      GrazUniversity of Technology, Austria，Horst Possegger博士

CVPR2014:OcclusionGeodesics for Online Multi-Object Tracking

CVPR2013: RobustReal-Time Tracking of Multiple Objects by Volumetric Mass Densities

9.      马里兰大学Zdenek Kalal博士

TLD,PAMI2011: Tracking-Learning-Detection

TIP2010: Face-TLD:Tracking-Learning-Detection Applied to Faces

ICPR2010:Forward-BackwardError: Automatic Detection of Tracking Failures

CVPR2010: P-N Learning:Bootstrapping Binary Classifiers by Structural Constraints

BMVC2008: Weighted Sampling forLarge-Scale Boosting

中文讲解：

TLD视觉跟踪算法

TLD源码深度分析

庖丁解牛TLD

TLD（Tracking-Learning-Detection）学习与源码理解

 

三、其他早期工作：

Tracking of a Non-Rigid ObjectviaPatch-based Dynamic Appearance Modeling and Adaptive Basin Hopping Monte CarloSampling

tracking-by-detection

粒子滤波演示与opencv代码

opencv学习笔记-入门（6）-camshift

Camshift算法原理及其Opencv实现

Camshift算法 

CamShift算法，OpenCV实现1--Back Projection

目标跟踪学习笔记_2(particle filter初探1)

目标跟踪学习笔记_3(particle filter初探2)

目标跟踪学习笔记_4(particle filter初探3)

目标跟踪学习系列一:on-line boosting and vision 阅读

直接转个：

0，Online Object Tracking: A Benchmark cvpr2013 综述

     http://visual-tracking.net/#

     http://cvlab.hanyang.ac.kr/tracker_benchmark_v10.html

1,  VTD:  Visual Tracking Decomposition cvpr2010  源码+测试视频
         http://cv.snu.ac.kr/research/~vtd/ 

2,  CT: Real-time Compressive Tracking  eccv2012 源码+测试视频

       http://www4.comp.polyu.edu.hk/~cslzhang/CT/CT.htm  

3, PROST - Parallel Robust Online Simple Tracking   测试视频

     http://gpu4vision.icg.tugraz.at/index.php?content=subsites/prost/prost.php

4，TLD

5,  MIL

6,  Struck

7, STC:Fast Trackingvia Spatio-Temporal Context Learning  2013-11-24

       目前作者已公开了支持多尺度的Matlab代码

       http://www4.comp.polyu.edu.hk/~cslzhang/STC/STC.htm

8 KCF: Kernelized Correlation Filters

http://home.isr.uc.pt/~henriques/circulant/

Visual trackers

We have tested 29 publicly available visual trackers. The trackers are listed in chronological order.

NAMECODEREFERENCE
CPFCPFP. Pe 虂rez, C. Hue, J. Vermaak, and M. Gangnet. Color-Based Probabilistic Tracking. In ECCV, 2002.
KMSKMSD. Comaniciu, V. Ramesh, and P. Meer. Kernel-Based Object Tracking. PAMI, 25(5):564鈥�577, 2003.
SMSSMSR. Collins. Mean-shift Blob Tracking through Scale Space. In CVPR, 2003.
VR-VVIVID/VRR. T. Collins, Y. Liu, and M. Leordeanu. Online Selection of Discriminative Tracking Features. PAMI, 27(10):1631鈥�1643, 2005.[www]
* We also evaluated four other trackers included in the VIVID tracker suite. (PD-V,聽RS-V,聽MS-V, and聽TM-V).
FragFragA. Adam, E. Rivlin, and I. Shimshoni. Robust Fragments-based Tracking using the Integral Histogram. In CVPR, 2006.[www]
OABOABH. Grabner, M. Grabner, and H. Bischof. Real-Time Tracking via On-line Boosting. In BMVC, 2006.[www]
IVTIVTD. Ross, J. Lim, R.-S. Lin, and M.-H. Yang. Incremental Learning for Robust Visual Tracking. IJCV, 77(1):125鈥�141, 2008.[www]
SemiTSBTH. Grabner, C. Leistner, and H. Bischof. Semi-supervised On-Line Boosting for Robust Tracking. In ECCV, 2008.[www]
MILMILB. Babenko, M.-H. Yang, and S. Belongie. Visual Tracking with Online Multiple Instance Learning. In CVPR, 2009.[www]
BSBTBSBTS. Stalder, H. Grabner, and L. van Gool. Beyond Semi-Supervised Tracking: Tracking Should Be as Simple as Detection, but not Simpler than Recognition. In ICCV Workshop, 2009.[www]
TLDTLDZ. Kalal, J. Matas, and K. Mikolajczyk. P-N Learning: Bootstrapping Binary Classifiers by Structural Constraints. In CVPR, 2010.[www]
VTD鈥�J. Kwon and K. M. Lee. Visual Tracking Decomposition. In CVPR, 2010.[www]
CXTCXTT. B. Dinh, N. Vo, and G. Medioni. Context Tracker: Exploring supporters and distracters in unconstrained environments. In CVPR, 2011.[www]
LSKLSKB. Liu, J. Huang, L. Yang, and C. Kulikowsk. Robust Tracking using Local Sparse Appearance Model and K-Selection. In CVPR, 2011.[www]
StruckStruckS. Hare, A. Saffari, and P. H. S. Torr. Struck: Structured Output Tracking with Kernels. In ICCV, 2011.[www]
VTS鈥�J. Kwon and K. M. Lee. Tracking by Sampling Trackers. In ICCV, 2011.[www]
ASLAASLAX. Jia, H. Lu, and M.-H. Yang. Visual Tracking via Adaptive Structural Local Sparse Appearance Model. In CVPR, 2012.[www]
DFTDFTL. Sevilla-Lara and E. Learned-Miller. Distribution Fields for Tracking. In CVPR, 2012.[www]
L1APGL1APGC. Bao, Y. Wu, H. Ling, and H. Ji. Real Time Robust L1 Tracker Using Accelerated Proximal Gradient Approach. In CVPR, 2012.L1_Tracker">[www]
LOTLOTS. Oron, A. Bar-Hillel, D. Levi, and S. Avidan. Locally Orderless Tracking. In CVPR, 2012.[www]
MTTMTTT.Zhang, B. Ghanem,S. Liu,and N. Ahuja. Robust Visual Tracking via Multi-task Sparse Learning. In CVPR, 2012.[www]
ORIAORIAY. Wu, B. Shen, and H. Ling. Online Robust Image Alignment via Iterative Convex Optimization. In CVPR, 2012.[www]
SCMSCMW. Zhong, H. Lu, and M.-H. Yang. Robust Object Tracking via Sparsity-based Collaborative Model. In CVPR, 2012.[www]
CSKCSKF. Henriques, R. Caseiro, P. Martins, and J. Batista. Exploiting the Circulant Structure of Tracking-by-Detection with Kernels. In ECCV, 2012.聽[www]
CTCT K. Zhang, L. Zhang, and M.-H. Yang. Real-time Compressive Tracking. In ECCV, 2012. [www]、

以上是关于运动目标跟踪（十七）--一些跟踪算法简述及跟踪牛人资料整理的主要内容，如果未能解决你的问题，请参考以下文章

多目标跟踪算法简述——量测-航机关联

多目标跟踪算法简述——量测-航机关联

目标跟踪基于Kalman滤波跟踪视频运动目标matlab代码

目标跟踪积累总结

opencv目标跟踪怎么实现重新选择目标

运动目标检测跟踪主流算法