Selective Search for Object Recognition

Posted 2020-10-07 塔上的樹

http://blog.csdn.net/charwing/article/details/27180421

Selective Search for Object Recognition

 

是J.R.R. Uijlings发表在2012 IJCV上的一篇文章。主要介绍了选择性搜索（Selective Search）的方法。选择性搜索综合了蛮力搜索（exhaustive search）和分割（segmentation）的方法。选择性搜索意在找出可能的目标位置来进行物体的识别。与传统的单一策略相比，选择性搜索提供了多种策略，并且与蛮力搜索相比，大幅度降低搜索空间，让我们可以用到更好的识别算法。

现实中，很多图像是包含多类别，多层次的信息的，如上图。所以我们要用到多层分割的方法，并且要用多种分割策略。

（一）选择性搜索（selectivesearch）

1.      分层分组：区域包含的信息比像素多，所以我们的特征是基于区域的。为了得到一些小的初始化的区域，用的是[13]中区域划分的方法。

[13]具体看http://blog.sciencenet.cn/blog-261330-722530.html

然后我们的分层分组算法如下：

 

我们首先用[13]得到一些初始化的区域R={r1,….rn}

计算出每个相邻区域的相似性s(ri,rj)

1.      找出相似性最大的区域max(S)={ri,rj}

2.      合并rt=ri∪rj

3.      从S集合中，移走所有与ri,rj相关的数据

4.      计算新集合rt与所有与它相邻区域的相似性s(rt,r*)

5.      R=R∪rt

直到S集合为空，重复1~5。

2.      各种分割策略

关于s(ri,rj)的计算，我们有多种方法，但要注意的是这些相似性特征应该是可以传递的。如当我们合并ri和rj成rt时，rt的特征可以由ri和rj直接计算，而不需要根据他们每个像素点的值进行重新计算。

（1）      多种颜色模型（color model）：文章共比较了8种颜色模型

 

（2）      相似性准则的补充（complementary similarity measure）

共介绍了四种准则，每一种都是可以快速计算的。

Scolor(ri,rj)用于计算ri，rj的相似性。对每个区域，我们都可以得到一个一维的颜色分布直方图。直方图一共有25个区间，区域i的颜色分布直方图为

 

如果有3个颜色通道，则n=75。还要用L1 norm来进行归一化。

 

当i和j合并成t，区域t的颜色分布直方图可以用下面式子进行计算：

 

t 的size用下面式子计算：

 

S_texture(ri,rj)我们可以用到SIFT（局部特征描述子）

SIFT介绍见：http://www.cnblogs.com/saintbird/archive/2008/08/20/1271943.html

我们取8个方向，方差为1的高斯滤波器，10个空间的直方图来描述。

 

如果有3个颜色通道，n=240=8*3*10，同理得到区域i的纹理直方图要用L1norm归一化。

 

同理，纹理的传递性也可以用（2）式解决。

S_size (ri,rj)鼓励小的区域尽早合并。

 

size(im)表示整个图片的像素数目。

S_fill (ri,rj)鼓励有相交或者有包含关系的区域先合并。

 

BBij指包含i，j区域的最小外包区域。

在这篇文章中，我们用到如下计算相似性：

 

3.      初始化区域

用[13]得到的初始化区域可以根据阈值k得到不同的结果。

（二）用选择性搜索进行识别（object recognition using selective search）

 

1.  训练数据的产生

在训练数据上，标注出目标区域，如上图中绿色高亮区域的奶牛，将这些标注区域作为正样本。使用selective search产生目标假设区域（也就是若干个分割区域）。将分割区域的外接矩形和目标标注区域的重叠度在20%~50%之间的区域标注为负样本。我们规定负样本之间不能有超过70%的重叠。

有了正样本和负样本之后，我们用的特征提取方法是：

color-SIFT descriptors[32]+a finer spatialpyramid division[18]

然后进行SVM训练。

2.   迭代训练

采用迭代训练方式，在每次训练完成之后，挑选出false positives样本，并将其加入到训练样本中，其实这便是增加了困难样本数。使用其进行模型训练，直到收敛（精度不在产生变化）。

 

（三）评价（evaluation）

文章给出了一些判断标准。

ABO(Average Best Overlap)

 

 

G应该是物体所在的目标区域。L是selective search算法算出的候选区域。找出Selective Search算法中与该类目标区域覆盖最多的区域。覆盖率由（8）式计算。然后再除以该类的数目。

MABO(Mean Average Best Overlap)就是计算每一类的ABO值，再求均值。

之后的实验都是基于这两个评判标准的，详细结果看论文。

 

本文提到的Reference:

[13] P. F. Felzenszwalb and D. P.Huttenlocher. Efficient Graph-Based Image Segmentation. IJCV, 59:167–181, 2004.

[18] S. Lazebnik, C. Schmid, and J. Ponce.Beyond bags of features: Spatial pyramid matching for recognizing natural scenecategories. In CVPR, 2006.

[32] K. E. A. van de Sande, T. Gevers, andC. G. M. Snoek. Evaluating color descriptors for object and scenerecognition.TPAMI, 32:1582–1596, 2010.

 

代码下载地址：http://pan.baidu.com/s/1sjOLbat