航拍+AI︱极简的视频风格迁移体验

Posted 2022-02-21 悟乙己

五年前，玩过很简单的风格迁移：
迁移学习︱艺术风格转化:Artistic style-transfer+ubuntu14.0+caffe（only CPU）
加上最近有点想买个无人机，所以先打个样，看看无人机+AI的一些合成效果。

---

文章目录

• 1 下载一个b站航拍视频
• 2 风格迁移
• 3 效果
• • 3.1 视频迁移风格 - 类型1
  • 3.2 视频迁移风格 - 类型2
• 4 后续的想法

---

1 下载一个b站航拍视频

因为无人机还没到。。
估计到了，也要很久才能拍得出像样的，所以只能盗视频来试玩了，使用的是开源项目：BBDown

一款命令行式哔哩哔哩下载器. Bilibili Downloader

这款几个好处：

• 有些B站视频不会出现水印，当然基本都有水印。。
• 视频可以把音频 和 纯视频分开

window系统下载之后，记得把ffmpeg放在跟命令行一个文件夹，才能顺利合并音频和视频：

BBDown [options] <url> [command]

一般来说：

BBDown -tv <url> 

本篇的主角视频是：震撼大片！大疆御air延时航拍

---

2 风格迁移

之前文章迁移学习︱艺术风格转化:Artistic style-transfer+ubuntu14.0+caffe（only CPU）用caffe，现在谁还记得这个古早框架。。
而且也不追求多好的效果，一开始只是试玩，就找到开源项目：PyTorch-Multi-Style-Transfer

整个开源项目还有Camera 版本：

python camera_demo.py demo --model models/21styles.model

属于比较轻量级，而且上手比较快。

python main.py optim --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg

这里指定风格图 + 要渲染的图，就可以work了。还可以自己训练风格模型，笔者就不训练了，直接使用作者的。

那么笔者的操作方式是把之前的视频，逐帧解析 + 逐帧风格渲染再合成，属于比较笨的方式。
在此懒得整理代码，反正就是复现大神的杰作。

---

3 效果

两个：
视频风格1
视频风格2

3.1 视频迁移风格 - 类型1

有一种黑云压城城欲摧的感觉。

3.2 视频迁移风格 - 类型2

---

4 后续的想法

后续还会想把paddlepaddle这款教程里面的几个模板复现一下：
【X世纪星际终端 】向外太空发漂流瓶，看AI生成的外星生物，用AR找外星痕迹

天空分割 + 外星飞碟：

可能引起不适的灵笼玛娜植物，植物mask + YUV颜色融合：