跌倒时识别物体 - 视点变化

Posted 2023-03-12

【中文标题】跌倒时识别物体 - 视点变化

【英文标题】：Recognize objects while falling - viewpoint variation

【发布时间】：2018-06-19 19:12:20

【问题描述】：

我有一个问题陈述来识别同一物体（瓶盖）的 10 类不同变化（颜色和大小的变化），同时考虑到相机看到物体的不同视点。我已将其拆分为子任务

1) 训练了一个深度学习模型，只对物体的平面进行分类，并在此尝试中成功。

示例 2 类的平面

2) 没有考虑到跌落，而是针对可能的视角变化训练了一个模型 - 不成功。

样本2类的感知变化

即使是视角发生变化，也有哪些方法可以识别对象。我不限于使用单个相机解决方案。对解决这个可变感知问题的想法持开放态度。

任何帮助都非常感谢，在此先感谢！

【参考方案1】：

我想给你的答案是：CapsNets

你一定要看看这篇论文，在那里你将了解 CNN 的一些缺点以及它们是如何解决这些缺点的。

也就是说，当视角发生变化时，我很难相信您的架构无法成功解决问题。您的数据集非常小吗？我希望神经网络能够学习褶皱边缘的过滤器，这可以从各个角度看到。

如果您不限于一台相机，您可以尝试训练一个“正常”分类器，您可以在生产中提供多张图像并对预测进行平均。或者，您可以构建一个同时包含多个视角的架构。你必须自己尝试，什么是最好的。

此外，永远不要低估老式图像预处理的力量。如果你有 3 个不同的视角，你可以选择最接近“平面”视角的那个。这可能就像使用具有最大颜色区域的图像一样简单，其中img.sum() 最高。

另一个想法是通过显式编程找出颜色，这应该相当容易，然后为网络提供灰度图像。也许您的网络被颜色的强相关性弄糊涂了，完全忽略了形状。