根据光流，为啥图像边缘有剧烈运动？

Posted 2023-02-21

【中文标题】根据光流，为啥图像边缘有剧烈运动？

【英文标题】：As per optical-flow, why is there a heavy motion at image margins?根据光流，为什么图像边缘有剧烈运动？

【发布时间】：2020-03-08 21:26:42

【问题描述】：

看一些例子：

(1)

(2)

我很好奇，为什么图像边缘有一个高幅度区域？ （比如第一帧的蓝色区域，第二帧的红色区域）

此外，我在画面中的静止物体周围看到了类似的趋势。 （例如，请参阅第一张图片中的标题“RACE 9”……并查看其周围的高震级区域）

尽管他们的发展速度不是很快，但为什么会出现这种趋势？是不是因为像素被认为已经移出帧，因此 Opt-Flow 假设高运动，对应于它们？任何可能的解释将不胜感激。

【问题讨论】：

光流本身并不是一种方法。不同的光流方法导致不同的结果/错误。能具体说说你用的是哪种光流法吗？

【参考方案1】：

您在第二张图片中看到的是剪刀问题。看底部的白色三角形，它只是白色条带的一部分。想象一下，在下一帧，相机将向上移动一点。由于白条几乎与边框边缘平行，所以白条与边框底边的交点会向右移动很长一段距离。它类似于剪刀，如果刀片之间的角度很小，刀片的交点移动得非常快。因此，如果您只是尝试跟随框架上底部白色三角形的运动，您会看到随着相机向上移动，它正在高速向右滑动。

这类问题通常出现在屏幕边缘附近以及图片中的直边。例如，您可以在不显着改变图片的情况下将美国国旗的条纹向右或向左移动。这意味着旗帜图片的微小变化也可以解释为向左或向右大移动。

【讨论】：

好的，这很有趣。从来没有这样想过。所以，这就是为什么每次在一些直线周围都会出现高速运动的原因。非常感谢您提供这些信息。您能否提供一些资源，让我可以阅读更多相关信息？

例如google.com/url?q=https://courses.cs.washington.edu/courses/…slides 8, 9, 15