Selective Search for Object Recognition

Posted 塔上的樹

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Selective Search for Object Recognition相关的知识,希望对你有一定的参考价值。

http://blog.csdn.net/charwing/article/details/27180421

Selective Search for Object Recognition

 

是J.R.R. Uijlings发表在2012 IJCV上的一篇文章。主要介绍了选择性搜索(Selective Search)的方法。选择性搜索综合了蛮力搜索(exhaustive search)和分割(segmentation)的方法。选择性搜索意在找出可能的目标位置来进行物体的识别。与传统的单一策略相比,选择性搜索提供了多种策略,并且与蛮力搜索相比,大幅度降低搜索空间,让我们可以用到更好的识别算法。

现实中,很多图像是包含多类别,多层次的信息的,如上图。所以我们要用到多层分割的方法,并且要用多种分割策略。

(一)选择性搜索(selectivesearch)

1.      分层分组:区域包含的信息比像素多,所以我们的特征是基于区域的。为了得到一些小的初始化的区域,用的是[13]中区域划分的方法。

[13]具体看http://blog.sciencenet.cn/blog-261330-722530.html

然后我们的分层分组算法如下:

 

我们首先用[13]得到一些初始化的区域R={r1,….rn}

计算出每个相邻区域的相似性s(ri,rj)

1.      找出相似性最大的区域max(S)={ri,rj}

2.      合并rt=ri∪rj

3.      从S集合中,移走所有与ri,rj相关的数据

4.      计算新集合rt与所有与它相邻区域的相似性s(rt,r*)

5.      R=R∪rt

直到S集合为空,重复1~5。

2.      各种分割策略

关于s(ri,rj)的计算,我们有多种方法,但要注意的是这些相似性特征应该是可以传递的。如当我们合并ri和rj成rt时,rt的特征可以由ri和rj直接计算,而不需要根据他们每个像素点的值进行重新计算。

(1)      多种颜色模型(color model):文章共比较了8种颜色模型

 

(2)      相似性准则的补充(complementary similarity measure)

共介绍了四种准则,每一种都是可以快速计算的。

Scolor(ri,rj)用于计算ri,rj的相似性。对每个区域,我们都可以得到一个一维的颜色分布直方图。直方图一共有25个区间,区域i的颜色分布直方图为

 

如果有3个颜色通道,则n=75。还要用L1 norm来进行归一化。

 

当i和j合并成t,区域t的颜色分布直方图可以用下面式子进行计算:

 

t 的size用下面式子计算:

 

Stexture(ri,rj)我们可以用到SIFT(局部特征描述子)

SIFT介绍见:http://www.cnblogs.com/saintbird/archive/2008/08/20/1271943.html

我们取8个方向,方差为1的高斯滤波器,10个空间的直方图来描述。

 

如果有3个颜色通道,n=240=8*3*10,同理得到区域i的纹理直方图要用L1norm归一化。

 

同理,纹理的传递性也可以用(2)式解决。

Ssize (ri,rj)鼓励小的区域尽早合并。

 

size(im)表示整个图片的像素数目。

Sfill (ri,rj)鼓励有相交或者有包含关系的区域先合并。

 

BBij指包含i,j区域的最小外包区域。

在这篇文章中,我们用到如下计算相似性:

 

3.      初始化区域

用[13]得到的初始化区域可以根据阈值k得到不同的结果。

(二)用选择性搜索进行识别(object recognition using selective search)

 

1.  训练数据的产生

在训练数据上,标注出目标区域,如上图中绿色高亮区域的奶牛,将这些标注区域作为正样本。使用selective search产生目标假设区域(也就是若干个分割区域)。将分割区域的外接矩形和目标标注区域的重叠度在20%~50%之间的区域标注为负样本。我们规定负样本之间不能有超过70%的重叠。

有了正样本和负样本之后,我们用的特征提取方法是:

color-SIFT descriptors[32]+a finer spatialpyramid division[18]

然后进行SVM训练。

2.   迭代训练

采用迭代训练方式,在每次训练完成之后,挑选出false positives样本,并将其加入到训练样本中,其实这便是增加了困难样本数。使用其进行模型训练,直到收敛(精度不在产生变化)。

 

(三)评价(evaluation)

文章给出了一些判断标准。

ABO(Average Best Overlap)

 

 

G应该是物体所在的目标区域。L是selective search算法算出的候选区域。找出Selective Search算法中与该类目标区域覆盖最多的区域。覆盖率由(8)式计算。然后再除以该类的数目。

MABO(Mean Average Best Overlap)就是计算每一类的ABO值,再求均值。

之后的实验都是基于这两个评判标准的,详细结果看论文。

 

本文提到的Reference:

[13] P. F. Felzenszwalb and D. P.Huttenlocher. Efficient Graph-Based Image Segmentation. IJCV, 59:167–181, 2004.

[18] S. Lazebnik, C. Schmid, and J. Ponce.Beyond bags of features: Spatial pyramid matching for recognizing natural scenecategories. In CVPR, 2006.

[32] K. E. A. van de Sande, T. Gevers, andC. G. M. Snoek. Evaluating color descriptors for object and scenerecognition.TPAMI, 32:1582–1596, 2010.

 
代码下载地址:http://pan.baidu.com/s/1sjOLbat

 

以上是关于Selective Search for Object Recognition的主要内容,如果未能解决你的问题,请参考以下文章

[论文理解]Selective Search for Object Recognition

《Selective Search for Object Recognition》笔记

Selective Search for Object Recognition(理解)

Selective Search for Object Recognition 论文笔记图片目标分割

selective search生成.mat文件

论文-Selective Search