用于分类的词袋 - 特征与像素

Posted 2023-03-13

【中文标题】用于分类的词袋 - 特征与像素

【英文标题】：bag of words for classification - features vs pixels

【发布时间】：2012-06-24 16:53:40

【问题描述】：

我正在使用词袋模型对医学图像进行分类。 我做了以下提取特征向量：

从小图像块中提取特征，然后将 BOW 应用于 这些功能 从小图像块中提取像素值，然后对这些像素值应用 BOW

在特征提取之后，我尝试了 PCA、特征选择、更改 KMeans 的聚类数量等以提高准确性。但在我的例子中，BOW 在像素值 (1) 上学习的表现优于 BOW (90%) 在特征 (2) 上学习的效果 (70%)。我的功能很好，当我使用这些功能使用其他框架对图像进行分类时，我能够获得超过 95% 的准确率。

我的问题是为什么在像素上学习的 BOW 比在特征上学习的 BOW 表现更好？

正常-异常结肠镜图像分类

    Figure 1: a normal colon image
    Figure 2: an image with polyp

【问题讨论】：

如果可能的话，您能否展示一些图片并说明您要识别的类别？

这是一个正常与异常的结肠镜图像分类。

对不起，我不知道那会是什么样子..

请看我现在上传的图。

你在提取什么特征？

【参考方案1】：

我对您从图像补丁中提取特征的两种方法的理解是

特征选择 = “运行 PCA、k-means，或选择像素的某个子集，并构建这些提取值的向量”

Pixel Values = "从图像的 RGB 值创建一个向量"

事实上，为了从 BOW 特征中获得好的结果，人们经常使用相对复杂的算法来推导出单个特征。

在http://vision.stanford.edu/projects/totalscene/index.html（参考文献#1 中的论文）的项目中，作者从图像块和分割中获取 BOW 特征。对于图像块，它们提取 SIFT 特征，并且对于每个片段，它们具有形状、颜色、位置和纹理特征（请参阅第 2.1 节并按照参考资料更好地描述它们使用的特征）。

在“将场景分解为几何和语义一致的区域”中。 （Gould 等人）形状、颜色、边缘等特征是通过训练增强型逻辑回归分类器、Potts 模型和高斯混合模型等操作得出的。

您可能不需要如此密集的技术来提取优于像素向量的特征，但您绝对应该浏览文献以了解什么是有效的。

用于提取纹理响应的 SIFT 特征、颜色直方图和过滤器似乎运行良好，并且还具有合理数量的软件库支持。

【讨论】：

感谢您提供的信息。我尝试了 2：（1）提取特征（纹理、颜色、边缘等）（2）仅颜色。提取特征后，我尝试对提取的特征/强度值进行 PCA/特征选择。我在一些论文上发现，对于强度值来说，有几百个集群就足够了，但对于特征我们应该有数千个集群。所以目前我正在尝试使用许多集群，希望它能给我带来好的结果。我会尽快更新结果。