如何在播放时以编程方式逼真地修改视频剪辑？

Posted 2023-02-16

【中文标题】如何在播放时以编程方式逼真地修改视频剪辑？

【英文标题】：How can I programmatically realistically modify a video clip while playing?

【发布时间】：2009-11-27 21:44:28

【问题描述】：

不久前，我在一家德国公司的网站上看到了一系列有趣的视频演示。他们处理在播放时修改视频流，我对这种技术的准确性和流畅性印象深刻。在所有这些演示文稿中，我认为one of them 在动态播放视频中的文本混合方面非常吸引人。它允许您在播放视频时在文本框中输入字符串，并以逼真的准确性嵌入您在视频中编写的文本的转换变体。我的问题是，如果您碰巧知道此类功能需要哪种算法，我如何以编程方式将实时文本和图像嵌入视频流中？是否有任何研究论文或图书馆我应该查看详细信息？

PS。不要因为视频的内容而激怒我，这是我感兴趣的编程技术，视频是我能找到的最好的例子。

【参考方案1】：

它被称为增强现实，有许多库和工具包可用于这样做，例如artoolkit http://www.hitl.washington.edu/artoolkit/

【参考方案2】：

为此，您只需要在渲染帧之前对其进行调解。

基本上：

读帧 修改框架 渲染

确实没有算法可以做到这一点。

【讨论】：

我的意思是如何现实地做到这一点，在框架内“混合”新内容，使其看起来好像是其中的一个自然部分......借用这个动作，其周围表面的粒度、反射率和其他精细特性。这就是我问图书馆的原因......我想它必须在插入框架时读取、处理然后重新应用所有这些表面特征——很容易在其中放置一些随机的不切实际的文本或图片——这是完全不同的业务让它融合，就好像它一直在那里;)

你的要求不是很具体。

【参考方案3】：

好的，所以我实际上查看了您的示例。由于这是预先录制的视频，他们可能只是用手将盒子的四个角追踪到目标表面上。然后进行渲染，您只需将文本透视变换到目标矩形。让它融合可能只是选择好的颜色、分层、颜色转换和透明度的艺术。这里没有什么特别神奇的东西，只是标准的 Photoshop 风格的图形算法，其中大部分可能只是内置在 Flash 中。