检测视频中是不是存在摄像机运动以及手术视频中的移动物体

Posted 2023-02-21

【中文标题】检测视频中是不是存在摄像机运动以及手术视频中的移动物体

【英文标题】：Detect if there is camera motion in a video with moving objects in surgical video检测视频中是否存在摄像机运动以及手术视频中的移动物体

【发布时间】：2021-05-22 22:19:34

【问题描述】：

我试图区分手术视频中的相机运动和工具运动。 我已经尝试使用 opencv farneback 进行光流，并将结果传递给 ML 模型进行学习，但没有成功。一个主要问题是在相机运动的情况下获得良好的关键点。是否有替代技术来区分相机运动和工具/组织运动？注意：摄像机运动仅发生在 10% 的视频中

【参考方案1】：

我希望我可以添加评论（太新无法评论），因为我没有给你一个好的答案。

我认为这真的取决于输入图像的性质。你能在这里展示一些典型的输入图像吗？

您的光流结果是什么样的？我想你可能会得到一些合理的结果。

您是否尝试过一些运动估计方法，分析不同帧之间是否存在全局运动，或者只有一些局部运动？

【讨论】：

嗨广，非常感谢您的回复。有哪些类型的运动估计方法？有我可以关注的示例文章吗？输入图像是典型的体内腹腔镜手术图像。你认为将 hsv 结果传递给 ML 分类器应该完成这项工作吗？我无法理解模型是问题还是光流本身。

在 youtube 上找到了一个示例腹腔镜手术视频。 2:30 开始真正的手术。 youtube.com/watch?v=J9mbWHnjsok 。您可以看到那里发生的工具和相机运动

您好，我观看了视频，在这种情况下，我认为它非常具有挑战性，因为由于组织运动以及相机运动，整个视图都在移动。我很好奇您的实际数据的光流结果是什么样的。我认为您的问题没有简单的解决方案，您可能需要深入了解您的数据和可用方法，并结合多种技术来找到最适合您问题的解决方案。祝你好运！

是的，在计算光流时，组织运动会导致问题。感谢您查看