结合两个基于深度学习的分类器的方法

Posted 2023-03-13

【中文标题】结合两个基于深度学习的分类器的方法

【英文标题】：Ways to combine two deep learning based classifiers

【发布时间】：2018-08-21 04:02:44

【问题描述】：

我想要一个基于 CNN 的主要分类器和一个类似的用于图像区域的二级分类器。

两个分类器都将用于图像区域。我需要将第一个分类器用于主要区域，而将辅助分类器用于辅助区域，并将用于支持第一个分类器做出的决策并提供进一步的证据。

因此，主图像区域和辅助图像区域将用于一次推断一个类标签。

如今还有哪些其他方式或架构来执行此类任务，而不是 ROI Pooling？

理想情况下，我希望有一个类似于本文的分类器方案，但不使用 ROI 池。

https://arxiv.org/pdf/1505.01197.pdf

【参考方案1】：

您可以查看此https://arxiv.org/pdf/1611.10012.pdf，其中包含对最新检测架构的全面调查。基本上有 3 种元架构，所有模型都属于这些类别之一：

Faster-RCNN：与您参考的论文类似，这是 fast-rcnn 的改进版本，它没有使用选择性搜索，而是将提案生成直接集成到称为区域提案网络 (rpn) 的网络中。 RFCN：在架构上与 1 类似，只是 roi 池的执行方式不同，称为位置敏感 roi 池。 SSD：修改 Faster-rcnn 中的 rpn 以直接输出类概率，从而无需像 roi 池中那样进行 per-roi 计算。这是最快的架构类型。 Yolo 就属于这种架构。

我认为根据我对您引用的论文的粗略阅读，类型 3 是您正在寻找的那个。然而，在实现方面，实现等式 3 可能有点棘手，即您可能需要停止将梯度反向传播到不与主要区域重叠的区域（或至少考虑它如何影响最终结果）作为这种架构类型计算整个图像的概率。

我还注意到实际上没有主要/次要“分类器”。该论文描述了主要/次要“区域”，主要区域是包含人的区域（即首先使用人员检测器找到主要区域）。次要区域是与主要区域重叠的区域。对于活动分类只有一个分类器，除了主要区域的权重更大，次要区域对最终预测分数的贡献很小。

【参考方案2】：

Yaw Lin 的回答包含大量信息，我将根据他在上一段中所说的内容进行构建。我认为你要做的本质不是独立处理人和背景并比较结果（这显然是你所说的你正在做的），而是首先处理背景并从中推断出种类您对主要地区的期望。一旦有了一些期望，您就可以将主要区域与最重要的期望进行比较。

例如，从您的 Arxiv 链接中的图 1 (b) 中，如果您可以处理背景并确定它是在人口稠密地区的户外，那么您可以重点关注该人是什么的概率密度函数在户外社交活动中进行，在你处理你感兴趣的人物之前，慢跑更有可能作为一种猜测。相比之下，对于图 1 (a)，如果你可以处理背景并判断它在室内并且包含计算机，那么您可以将概率集中在单独的室内基于计算机的活动上，从而使“在计算机上工作”的概率猛增。