周末去看了个久石让音乐会，还不如我在A4纸上看宫崎骏动画
Posted Charmve
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了周末去看了个久石让音乐会，还不如我在A4纸上看宫崎骏动画相关的知识，希望对你有一定的参考价值。
点击上方“迈微AI研习社”，选择“星标★”公众号
重磅干货，第一时间送达
随意弯曲、任意抖动，丝毫不影响我在纸上看《龙猫》。
这不是什么屏幕黑科技，而是AI合成的图像。
来自港中文-商汤联合实验室、浙江大学、英伟达的研究人员，用AI将图片视频投影到实时弯曲的纸面上，还更改图片的视角、光照条件。
文末有论文和源码链接
AI可以在纸上放电影
那么具体是如何实现的呢？
简单来说，就是通过预测光流来替换视频中的图片。
以《星空》为例。
第一步，将这幅画打印在A4纸上，然后录制视频。在不同角度、光照、抖动情况下捕捉纸张，并从中提取帧。
第二步，也是最为关键的一步。
用LIFE单独预测《星空》在视频画面中的流动，然后将其替换成其他的图片or视频。
这里的LIFE，是研究人员提出的弱监督框架，该框架只需要将整个图像的相机姿势变换作为弱监督。
用这一框架来训练神经网络，来估计图像对之间的不变光流。
通过运动结构（Structure-from-Motion，SfM）技术，可以很容易地估计出视角变化大、光照变化大的图像对之间的相机姿势。
稀疏对应关系通常是通过特征匹配和指定图像来建立的。
然鹅，在跨图像特征匹配时候，指定图像会出现一些差错，阻碍了下游任务的进行。
下面这两个样本，就有种蹦迪的赶脚~
而用LIFE来指导特征匹配，利用图像对中丰富的上下文信息来解决模糊匹配的问题。
就如圆圈中特征点，正是LIFE预测下找到与原图像最匹配的点。
最终，LIFE在各种场景下，都分优于目前最先进的光流估计方法。
来具体看下实现效果~
比如，随意弯曲。
以及在不同视角的变换。
即便是在黑暗的场景下，也能清晰的看到图像。
好的，又蹦迪了！
感兴趣的旁友可戳下方链接了解更多细节哟~
传送门
- 论文链接：
- https://arxiv.org/abs/2104.03097
- 参考链接：
- https://drinkingcoder.github.io/publication/life/
推荐阅读
（点击标题可跳转阅读）
# CV技术社群邀请函 #
△长按添加迈微官方微信号
备注：姓名-学校/公司-研究方向-城市（如：小C-北大-目标检测-北京）
△点击卡片关注迈微AI研习社，获取最新CV干货
© THE END
转载请联系本公众号获得授权
投稿或寻求报道：yidazhang1@gmail.com
觉得有用麻烦给个在看啦~ 
以上是关于周末去看了个久石让音乐会，还不如我在A4纸上看宫崎骏动画的主要内容，如果未能解决你的问题，请参考以下文章