adaptive color attributes for tracking翻译

Posted 2020-07-10 xudong_98

本文章是基于目标跟踪的翻译，供大家学习参考！
自适应选择颜色属性的实时视觉跟踪
摘要
视觉跟踪在计算机视觉中是一个很有挑战性的问题，现在最好的（state-of-art) 视觉跟踪器只使用了图片的光照信息或使用简单的颜色表示（RGB 这样的三通道）来表示图片。和视觉跟踪不同的是，在目标识别和检测问题中，结合光照信息和复杂的颜色特征可以提供非常好的表现。由于跟踪问题的复杂性，所需要的颜色特征应该是计算起来比较高效的，并且用有一定的光学不变形，同时具有比较高的判别能力。
这篇文章调查了在tracking by detection框架中颜色属性的贡献，我们的结果显示了颜色属性对于视觉跟踪问题具有非常好的表现。我们进而提出了一个自适应低维颜色属性的变种。在41个有挑战性的彩色数据集上进行了对本文所提方法的评价，比基于光照强度的跟踪器提升了24%，我们还证明了我们的方法比现在最好的方法还要好，并且速度可达到100fps以上。
1. 引言
目标跟踪就是在图片序列中找到目标的位置，（目标是提前标明的，即在第一帧给出），在计算机视觉中是最有挑战性的问题，在许多应用中扮演了至关重要的作用，比如，人机交互，视频监控，机器人。跟踪问题之所以复杂是因为，跟踪过程中可能发生光照改变，遮挡，背景干扰，跟踪目标发生形变。本文调查了如何使用颜色信息来减小上述问题的影响。
现在大多数最先进的跟踪器或是使用光照强度（RGB值）或是使用纹理信息[7,27,11,5,20]。尽管现在在视觉跟踪方面已经取得了很大的进展，但是对于颜色信息的使用还是仅限于简单的颜色空间转换[19,17,18]。和视觉跟踪不同的是，在目标检测方面，复杂的，巧妙设计的颜色特征显示了非常好的效果，而利用颜色信息做视觉跟踪是一件很难的事情。颜色测量结果在整个图片序列中变化很大，原因包括光照改变，阴影，相机和目标几何位置的变化。对于彩色图像在上述情况下鲁棒性的评价已经用在 图像分类，行为识别上，因此我们使用现在的评价方法来评价对目标跟踪这个问题的颜色转换的方法。
现在处理视觉跟踪问题的方法有两种，叫生成方法和判别方法。生成方法不断去搜索和目标最相似的区域，这类方法或者基于模板匹配或是基于子空间模型。判别方法旨在将目标从背景中区分出来，就是将跟踪问题变为二分类问题。生成方法只使用了目标的信息，而判别方法既使用目标信息也使用背景的信息，找到一个将目标区分出来的分类界限。这种方法在很多基于tracking by detection框架的算法中使用，即使用目标和目标附近的环境训练出一个online的分类器。在前几年有个对现在比较优秀跟踪器的评价，里面有个csk 的跟踪器，排在前十名，而且拥有非常高的速度，这种跟踪器发现了一个密度采样的策略，就是对一帧中多个子窗口的处理，可以归为对一个循环矩阵的处理，由于csk良好的表现和快速，我们的方法是基于csk跟踪器。
贡献：本文使用颜色属性扩展了csk跟踪器，由于它在光照不变性和辨别力上取得了平衡，因此在目标跟踪上取得了良好的表现[14]。csk的模型更新机制在处理多通道信号时，是次优的，为此我们调整了原来csk的更新机制，在实验中证明了新机制在多通道跟踪中的有效性。高维的颜色属性导致计算复杂度上的增加，可能限制跟踪器在实时应用和机器人中的使用，为此我们提出了自适应的维度下降方法，将原始的11维下降到2维，这样跟踪器的帧率就可以达到100fps以上并且不影响精确度。相比其它颜色表达我们做了大量的评价证明我们的颜色属性具有更好的效果。最后，我们展示了通过41个图像序列进行全面的评估，并取得了很好的效果。Figure1显示出我们的方法相比其它先进的方法具有更好的效果。

2.CSK 跟踪器
我们的方法是基于CSK跟踪器[9]的，CSK在最近的跟踪器评估中速度在前十[25]，CSK跟踪器在一些图像碎片中学习出了目标的最小二乘核化分类器。重点是它速度很明显，CSK采用了一种循环机制，该机制出现在周期性地负担本地图片中。在此我们提供了一种简要的预览[9].
我们用一个简单的灰度图像碎片(其大小为,目标在图像中间）来训练分类器。改分类器将所有移位{(m,n)作为分类器的训练样本，都贴上高斯函数的标签，变成，该分类器由基于的结构风险最小化的函数（1）训练而来.

这里的由核函数映射到希尔伯特空间，其内积定义为限制条件是一个规范化参数，以上代价函数（1）由，其系数a是：

这里的F是离散傅立叶变换DFT算子，我们定义DFT结果是大写字母，如：Y=F(y),
,其中是核函数的输出等式2具有移不变性，对所有的m,n,f,g有,CSK跟踪器采用了高斯径向基核。
检测第一步是要在新的一帧中裁剪出M*N的小片灰度图像。检测分数由来计算，其中是样本碎片z的傅立叶变换核的输出，这里的指的是目标的灰度模板，由多帧图像中学习得到。当找到评分最大的后，再在新的一帧图像中估计出目标位置。工作[9]显示出核输出和可以用FFT计算得到。查看更多细节，参考[9].
3.颜色视觉跟踪
为了能合并颜色信息，我们通过定义一个合适的内核来扩展CSK追踪到多维颜色特征。这个在径向基函数中把范式扩展到多维特征中。从图像模板中提取的目标由函数x表示：,其中是一个D维向量，由位置(m,n)的所有特征组成。在传统的CSK跟踪器中，灰度图像的模板先乘上一个Hann窗来做预处理。对每一个特征通道，我们用相同的步奏。最终的表达我们用堆叠亮度和颜色通道获得。
3.1用于视觉跟踪的颜色属性
颜色特征的选择对视觉跟踪至关重要。最近，颜色属性[23]在目标识别、检测、行为识别上取得了至关重要的成果[14,13,12].这里，我们为对象跟踪来研究它们。颜色属性，或者颜色名字（CN),由人为得分配颜色标记来代表世界上的颜色。由Berlin和Kay[3]展示的颜色研究，在英文中包括这些基本的颜色术语：black,blue,brown,grey,green,orange,pink,purple,red,white,yellow.在计算机视觉领域，颜色命名就是在RGB观测上分配口语化标签，我们用这种映射[23](由谷歌图像搜索自动学习得到）把RGB值映射到可能地11维颜色表示中，11种颜色总和为1.
传统的CSK将灰度值规则到[-0.5,0.5]区间。由于采用了窗口化操作可以反变形，而且影响L2距离。在第一个案例中，颜色名字仅仅依靠提取每种颜色的1/11。这样就把颜色映射到10维子空间中，而且颜色和为0。在第二个例子中，则采用规范化，将颜色名字映射到10维子空间的正交偏置中，该映射确定了颜色属性的中心，并同时将维数从11降到了10。这种正交偏置的选择对CSK跟踪器作用不大，具体在3.3讨论。我们发现第二种技术取得了很好的性能，因此用它来规范颜色属性。
3.2 为颜色特征建立稳健的分类器
为了实现可视化的跟踪，并且使其得对外观变化具有鲁棒性，实时更新目标是有必要的。在CSK跟踪器中，这个模型由已经学习获得的目标外形和已经转换好的系数A组成。这些计算过程仅仅考虑当前的外观模型。然后该跟踪器采用一种临时的简单线性插值方法来改变分类器系数：，p是当前帧的索引号，是一个学习率参数。这导致了次优性能，因为并不是所有的以前帧都同时用于更新当前模型。对比CSK方法，MOSSE跟踪器采用了一种强健的跟踪机制：当计算当前帧时通过考虑之前所有帧。然而这种机制仅仅应用于线性核和一维特征。在此，我们一般化这个更新机制来核化分类器和多维颜色特征。
为了更新分类器，我们考虑提取所有目标的外观，从第一帧到第p帧。损失函数由这些帧的权重均方差重建。为了简化训练和检测的任务，其解限制在分类器系数的集合上，每一帧j都有限制条件。整体损失为：
（3）
损失函数由以下公式最小化：
（4）
如(2),我们定义傅立叶输出，其中其权重由一个学习参数来设定。总体模型用(5)来更新。在(4)中分子和分母独立更新。其对象外观由传统的CSK跟踪器来更新。
（5a)
(5b)
(5c)
这种机制使得模型更新不需要存储之间的外观。当前模型仅仅只需要存储
。这种模型在新的每一帧中用(5)来更新。这同样确保了计算量的增加对跟踪器速度的影响。在传统的CSK中，学习外观用于下一帧p+1计算检测分数。
3.3低维自适应颜色属性
CSK跟踪器的计算时间与特征维度成线性关系。这对高维颜色特征比如说颜色属性来说是个难题。我们提出了一种自适应的降维技术来保留有用信息当急剧降维时，因此使得速度得到显著提高。
我们将这个问题规范为：通过寻找一个合适的降维策略来匹配当前帧p,最小化一个损失函数结构：
（6）
其中，是一个数据项，仅仅依赖于当前帧，而是用来平滑的，与第j帧有关。这些项由权重控制。

令为维的学习外观，降维技术通过寻找一个的映射矩阵, 其列向量正交。该矩阵用来计算由映射的新的维特征通过,。数据项包括当前外形的重建错误。
（7)
数据项(7)的最小化对应PCA对的操作。然而，更新这个映射矩阵仅仅用(7)只会恶化这些目标模型的质量，因为之前学习到的分类器系数已经过时。
为了获得一个强健的映射矩阵的学习，我们加了平滑项在(6）中。令作为之前帧计算得到的映射矩阵().如果列向量在新的映射矩阵和之前的映射矩阵没有扩展到相同的特征空间，那么平滑项就附加了一个损失项。这是由内积和径向基核对但以算子不变所激发。因此当偏置项扩展到相同的特征空间，偏置的唯一选择并不重要。平滑项是：
（8）
等式8由早期的偏置向量在新的偏置向量中的误差重建。在中其每一个偏置向量都由权重决定。
用特征想(7)和平滑项（8），整体损失在=I条件下最小。这是由分解矩阵的特征值完成.这里的当前外观矩阵（D2*D2，其权重为)的协方差矩阵。映射矩阵由对应的特征值标准化的特征向量D2来挑选。具体步骤详见算法1.

4.实验
这里我们介绍我们的实验的结果。首先,我们综合评价颜色特征来进行(在对象识别)视觉跟踪。其次,我们评估所提出的颜色特征得学习机制。第三,我们评估自适应低维颜色属性。最后,我们提供定量和属性的比较先进的追踪器。
4.1实验步骤

我们的方法是在Matlab上进行。这些实验配置2.66 GHz IntelCPU和16 GB的RAM。在我们的方法中,我们使用相

同的参数值作为传统的[9]提出的CSK追踪。自适应的学习速率参数μ颜色属性是固定的,对所有序列都是0.15。我们所采用的数据集:所有35个颜色序列用于最近的评估跟踪方法[25]。此外,我们使用其他颜色序列，即:Kitesurf，Shirt, Surfer, Board, Stone and Panda.使用的序列在我们的实验中提具有挑战性的运动模糊等情况,光照的变化,规模变化,沉重的遮挡,平面,平面外旋转,变形,背景遮挡和低分辨率。

评价方法:我们提出方法验证性能,我们遵循协议2中使用[25]。结果给出了使用三个评价指标:中心位置误差(CLE),距离精度(DP)精度和重叠(OP)。CLE之间的平均欧氏距离计算,估计目标的中心位置和真实。DP是相对的在序列的帧数,中心位置误差小于某一阈值。我们报告DP20像素的阈值[9,25]。结果总结了使用中位数CLE和DP值41序列。我们也报告追踪器的速度中间帧每秒(FPS)。我们提供中位数结果稳健估计的总体性能.
我们也展现精度和成功[25]。在精密策划的距离精度绘制在一个范围内的阈值。追踪器是使用DP分数排名在20像素。成功的细节包含重叠的精度在阈值范围(凤凰社)。OP的定义是帧的百分比超过边界框重叠的地方，阈值t∈[0,1]。追踪器是使用面积排名根据曲线(AUC)。精度和成功显示精度平均成绩在所有的序列上。
4.2颜色特征
除了评估基于颜色属性的跟踪,我们用一个广泛评价其他颜色的表达。这些颜色特征随光度不变性和分辨率而变化，是生物启发的颜色表示。
RGB:作为一个基础算法,我们使用标准的3 通道RGB颜色空间。
LAB:LAB颜色空间在视觉上是均匀的,这意味着颜色在相等的距离在视觉上是同样的距离。
YCbCr:YCbCr大致是视觉均匀的,常用于的图像压缩算法。

rg:rg颜色通道是我们考虑的亮度不变的第一种颜色特征。由公式(r,g)= (R/(R + G + B),G/(R + G + B))计算得到，并且对阴影保持不变性。
HSV:在HSV颜色空间中,H和S对阴影保持不变性，另外是H高亮度。

图2:比较原始的更新方案和使用我们提出的学习方法(DP)(%)。我们的方法在许多方法上提高了性能。最好的结果是使用我们建议的学习方法。

表2:比较自适应颜色名称(CN2)和颜色名称(CN)。我们提供中等DP(%)和
CLE(像素)的结果。注意,CN2提供了快速的增长速度及损失很少精度。
Oppoent:根据图像转化:

这种表达是对高光保持不变性。
C:颜色表达C对阴影部分增加了光度不变性到反描述符中通过均衡密度。这是根据来完成的.
HUE:hue是36维直方图表示,HUE的更新由饱和色调直方图完成来应对不稳定的色调表示。该表示对shadow-shading和高光具有不变性。
Opp-Angle:Opp-Angle 36-dimensional直方图
表示[22]，基于。
下标的x表示空间导数。该表示对shadow-shading和高光及模糊具有不变性。
SO:最后,我们考虑的仿生学研究描述符Zhang et al .[26]。这个颜色表示是基于中心周围的过滤器在相反的颜色通道上。

表3:定量的比较我们的追踪器与15种先进的方法通过41个序列。结果显示中等距离精度(DP)和中心位置误差(CLE)。我们还提供中间帧每秒(FPS)。最好的两个结果所示红色和蓝色字体。提出的两个方法CN和CN2实现最佳的性能。注意我们CN2第二个方法得到最好的速度和精度。
4.3实验1 颜色特征评估
表1显示了results5颜色特性在4.2节讨论。所有颜色表示适当的归一化。我们添加一个强度没有亮度通道的颜色表示组件。强度通道使用Matlab计算“rgb2gray”功能。
传统CSK追踪强度仅提供了一个中等距离精度(DP)的54.5%。36维色调和Opp-Angle获得差结果。最好的结果是通过使用10维颜色名称(CN)显著增加19.5%常规CSK追踪。同样,灰度CSK跟踪提供了一个中心位置误差(CLE)50.3像素的中值。再次,最好的结果是获得使用颜色名称中间CLE 16.9像素。
总之,颜色并结合亮度时提高性能。然而,仔细选择颜色特性获得显著的性能改进是至关重要的。使用CN得到最好的结果.
4.4实验2：鲁棒性的更新机制
这个实验显示了多通道的影响提出更新方案的颜色特性。我们将颜色特征作为一个组合的颜色和强度通道从这里开始。图2显示了性能改进中值精度获得使用该更新scheme5距离。在9 11颜色特性进行评估,提出更新方案提高了跟踪的性能。高维度的改善尤为明显颜色色调和opp-Angle等特性。因此,最佳的性能再次表示使用CN,结果从74%提高到了74%,新的更新机制。
4.5 实验3：低维自适应颜色属性
如前所述,跟踪器的计算成本对于大多数实际应用程序是一个至关重要的因素。然而,低计算成本没有显著损失精度是可取的。在这篇文章中,我们还提出低维自适应颜色属性。

降维技术在3.3中引入,用于压缩10维颜色名到2维。表2显示了结果使用提出的低维自适应颜色属性(CN2)及其对比的颜色名称。结果清楚地表明,CN2提供性能显著提高速度的同时保持竞争力。

4.6 与其它先进的跟踪技术作比较
我们和15个不同先进追踪器比较，显示带来了良好的效果。用于比较的跟踪器是:CT [27], TLD [11],DFT [20], EDFT [6], ASLA [10], L1APG [2], CSK [9],SCM [28], LOT [18], CPF [19], CXT [5], Frag [1], Struck[7], LSHT [8] and LSST [24]. 所有追踪器的代码或二进制文件除了LSST,LSHT和EDFT,，都用基准评价。

表3显示了先进跟踪方法在41个具有挑战性的序列中的对比。我们也报告中间帧每秒的速度(FPS)。最好的两个结果分别为红色和蓝色字体所示。我们的方法CN显著提高了基线灰度埋头追踪与中间CLE相对下降了72%。此外,我们的CN追踪改善了基线的平均DP方法，从54.5% 到81.4%。
这表明获得最好的性能在最近的一项评估[25],在我们的评估也优于现有的其他方法。尽管我们CN跟踪器的简单,它优于在DP在操作中值10%超过7次更高的帧速率。最后,结果还表明,CN2跟踪进一步提高速度(超过100 FPS)中值没有显著损失精度。

图3显示了包含平均距离的精度和成功的画出了在所有41序列重叠误差。图中平均DP分别为20像素和AUC。只显示前10名追踪者清晰。精密的情节,最好的两个方法是CN和CN2提出。我们的CN方法优于3.5%和平均距离基线埋头追踪14.8%精度的阈值20像素。值得提及的是,基线CSK追踪不估计规模变化。尽管这固有的局限性,我们两种方法提供有前景的结果相比,最先进的方法意味着重叠精度(成功的情节)。图4显示了一个逐帧比较我们CN2追踪与现有的追踪器的中心象素错误5例序列。我们的方法对这些序列比其他追踪器强。
鲁棒性来初始化:众所周知,视觉追踪器可以初始化敏感。评估的初始化的鲁棒性,我们遵循协议提出的基准评价[25]。追踪器是评估通过初始化在不同的帧(称为颞健壮性、混乱关系),在不同的位置(称为空间健壮性、行为)。行为,12个不同的初始化评估每个序列,至于TREeach序列划分为20段。我们选择前5现有追踪器在远处和重叠精密情节混乱关系和行为实验(图3)。比较我们的方法和所选的追踪结果如图5所示。在这两种评价,我们的CN和CN2追踪器获得最好的结果。

图6:精度的不同属性即:光照变化,平面旋转,运动模糊和背景杂波(最好在高分辨率显示)。出现在标题的值表示视频的数量与各自相关的属性。本文提出的两种方法为先进的算法。

我们根据VOT评价方法评估了追踪器,这类似于TRE关系准则。在41个序列上,我们的方法跟踪失败的平均数比STRUCK低(1.05)。
基于属性的评估:几个因素会影响视觉跟踪的性能。在最近的基准评估[25],序列注释11个不同的属性,即:照明变化、尺度变化、闭塞、变形、运动模糊、快速运动,平面旋转,旋转平面外,看不见了的时候,背景杂波和低分辨率。我们执行与其他方法比较35序列注释对上述属性[25]。、我们的方法克服了11个属性:背景杂乱,运动模糊,变形、光照变化,面内旋转,出平面旋转和遮挡。
图6显示了示例密度不同的属性。只显示前10名追踪者清晰度。对光照变化序列,CN和CN2提供的结果优于现有方法。这是由于这样的事实:颜色属性具有一定程度的光度不变性,同时保留有识别力。目前我们的跟踪在个、很多情况下,提供了最好的结果。
5.结论
我们建议使用颜色属性跟踪。我们将CSK追踪的学习计划扩展到多通道的颜色特性。此外,我们提出一个低维自适应颜色属性的扩展。几个现有的追提供很好的准确性却牺牲了速率。而,速度是一个关键因素对于许多现实世界的应用,如机器人技术和实时监测。我们的方法保持先进准确性而饮片操作超过100 FPS。这使它特别适用于实时应用程序。

虽然颜色属性经常使用在早期跟踪文献,最近的作品主要运用简单的色彩转换。本文演示了精心选择的颜色转换的重要性,我们希望这项工作激励研究人员看到的颜色作为追踪的一个组成部分的设计。
致谢:这项工作一直支持通过社保基金资助项目CUAS,通过虚拟现实的赠款项目ETT,通过战略区域ICT研究ELLIIT 和CADICS.

参考文献

[1] A. Adam, E. Rivlin, and Shimshoni. Robust fragments-basedtracking using the integral histogram. In CVPR, 2006. 6
[2] C. Bao, Y. Wu, H. Ling, and H. Ji. Real time robust l1 trackerusing accelerated proximal gradient approach. In CVPR,2012. 1, 6
[3] B. Berlin and P. Kay. Basic Color Terms: Their Universalityand Evolution. UC Press, Berkeley, CA, 1969. 3
[4] D. S. Bolme, J. R. Beveridge, B. A. Draper, and Y. M. Lui.Visual object tracking using adaptive correlation filters. In CVPR, 2010. 3
[5] T. B. Dinh, N. Vo, and G. Medioni. Context tracker: Exploring supporters and distracters in unconstrained environments. In CVPR, 2011. 1, 6
[6] M. Felsberg. Enhanced distribution field tracking usingchannel representations. In ICCV Workshop, 2013. 1, 6
[7] S. Hare, A. Saffari, and P. Torr. Struck: Structured output tracking with kernels. In ICCV, 2011. 1, 2, 6
[8] S. He, Q. Yang, R. Lau, J. Wang, and M.-H. Yang. Visual tracking via locality sensitive histograms. In CVPR, 2013. 1,6
[9] J. Henriques, R. Caseiro, P. Martins, and J. Batista. Exploiting the circulant structure of tracking-by-detection with kernels. In ECCV, 2012. 1, 2, 4, 5, 6
[10] X. Jia, H. Lu, and M.-H. Yang. Visual tracking via adaptive structural local sparse appearance model. In CVPR, 2012. 6
[11] Z. Kalal, J. Matas, and K. Mikolajczyk. P-n learning: Bootstrapping binary classifiers by structural constraints. InCVPR, 2010. 1, 6
[12] F. S. Khan, R. M. Anwer, J. van de Weijer, A. Bagdanov,A. Lopez, and M. Felsberg. Coloring action recognition instill images. IJCV, 105(3):205–221, 2013. 1, 3
[13] F. S. Khan, R. M. Anwer, J. van de Weijer, A. Bagdanov,M. Vanrell, and A. Lopez. Color attributes for object detection. In CVPR, 2012. 1, 3
[14] F. S. Khan, J. van de Weijer, and M. Vanrell. Modulating shape features by color attention for object recognition.IJCV, 98(1):49–64, 2012. 1, 2, 3
[15] J. Kwon and K. M. Lee. Tracking by sampling trackers. InICCV, 2011. 1
[16] B. Liu, J. Huang, L. Yang, and C. Kulikowski. Robust tracking using local sparse appearance model and k-selection. InCVPR, 2011. 1
[17] K. Nummiaro, E. Koller-Meier, and L. J. V. Gool. An adaptive color-based particle filter. IVC, 21(1):99–110, 2003. 1
[18] S. Oron, A. Bar-Hillel, D. Levi, and S. Avidan. Locally orderless tracking. In CVPR, 2012. 1, 6
[19] P. Perez, C. Hue, J. Vermaak, and M. Gangnet. Color-basedprobabilistic tracking. In ECCV, 2002. 1, 6
[20] L. Sevilla-Lara and E. G. Learned-Miller. Distribution fieldsfor tracking. In CVPR, 2012. 1, 6
[21] K. van de Sande, T. Gevers, and C. G. M. Snoek. Evaluatingcolor descriptors for object and scene recognition. PAMI,32(9):1582–1596, 2010. 1, 5
[22] J. van de Weijer and C. Schmid. Coloring local feature extraction. In ECCV, 2006. 1, 5
[23] J. van de Weijer, C. Schmid, J. J. Verbeek, and D. Larlus. Learning color names for real-world applications. TIP,
18(7):1512–1524, 2009. 2, 3
[24] D. Wang, H. Lu, and M.-H. Yang. Least soft-thresholdsquares tracking. In CVPR, 2013. 6
[25] Y. Wu, J. Lim, and M.-H. Yang. Online object tracking: Abenchmark. In CVPR, 2013. 2, 4, 5, 7
[26] J. Zhang, Y. Barhomi, and T. Serre. A new biologically inspired color image descriptor. In ECCV, 2012. 1, 5
[27] K. Zhang, L. Zhang, and M. Yang. Real-time compressivetracking. In ECCV, 2012. 1, 6
[28] W. Zhong, H. Lu, and M.-H. Yang. Robust object trackingvia sparsity-based collaborative model. In CVPR, 2012. 6