照片瞬间变样！看Tensorflow如何实现深度「图片风格迁移」

Posted 2021-04-24 雷克世界

原文来源：https://arxiv.org/、https://github.com/

「机器人圈」编译：嗯~阿童木呀、多啦A亮

今年四月，Adobe公司和康奈尔大学联合发布了一篇论文，名为《深度照片风格迁移》（Deep Photo Style Transfer），可以逼真地将一张照片的风格迁移到另外一张。近日，GitHub上开源了这篇论文基于TensorFlow的实现。本文分为两部分，前面我们先简要回顾一下这篇论文的原理，后面是具体的TensorFlow实现操作。

本文介绍了一种用于逼真图片风格迁移的深度学习方法，在迁移参考风格的同时处理大量的图像情境。该论文通过研究神经网络的不同层，将风格从图像内容中抽离出来。然而，这种方法并不适用于逼真风格（photorealistic style）迁移。即使输入和参考图像都是照片，输出所展示的结果仍然会令人联想到一幅失真的画。这篇论文的主要贡献是限制从输入到输出的转换，在色彩空间中局部仿射，并将这个约束表示为一个自定义完全可微的能量项。该论文的研究结果表明，这种方法成功地抑制了失真，并在各种各样的场景中产生了令人满意的逼真风格的迁移，包括时间、天气、季节以及艺术编辑的风格的迁移。

逼真图片风格迁移是一个长期存在的问题，它试图将参考风格照片中的风格迁移到另一个输入图片上。例如，通过适当地选择参考风格照片，你就可以使输入图片看起来像是在不同的照明、时间或天气下拍摄的，或者像是用另一种完全不同的意图进行了艺术风格的晕染。到目前为止，现有的技术在场景的多样性、它们能够处理的迁移，以及它们所达到的风格匹配的忠实性程度上面还存在着诸多局限性。在本文中，我们介绍了一种用于逼真图片风格迁移的深度学习方法，即它在处理各种各样的图像情境的同时，还可以准确地迁移参考风格。最近Gatys等人在《使用卷积神经网络的图像风格迁移》（Image style transfer using convolutional neural networks.）中所提及的神经风格迁移研究中有了最新成果，而我们的方法就是基于此的。但是，正如下图所示，即使输入和参考风格图像都是照片，输出仍然看起来像一幅画，例如，直线的边缘变成了弯曲的、有规律的纹理波状。而我们所要做的一个工作就是防止空间失真，以及将迁移操作限制在仅在色彩空间中进行，从而消除这些类似于油漆的效果。

（a）

（b）

（c）

（d）

  （e）

a

b

c

d

e

给定参考样式图像（a）和输入图像（b），我们试图创建一个与输入场景相同的输出图像，但是要使用参考图像的风格。《使用卷积神经网络的图像风格迁移》中所提及的神经风格算法（c）成功地迁移了颜色，而且还引起了使输出看起来像一幅画的失真，这在照片风格转移的情境中是不可取的。相比之下，我们的结果（d）在保留输出的逼真感的同时良好地迁移了参考风格图像的颜色。在（e）中，我们显示了（b），（c）和（d）（按照这个顺序）的3个插图。放大以比较结果。

我们可通过能够在色彩空间中进行局部仿射的转换模型来实现这个目标，我们可将其表示为一个自定义完全可微的能量项，而这一灵感主要启发于A. Levin等人所著的《自然图像抠图的封闭式解决方法》（A closed-form solution to natural image matting）中所提及的拉普拉斯抠图技术（Matting Laplacian）。我们的研究结果表明，这种方法成功地抑制了失真，同时将对迁移忠实性影响降低到最小。而我们的其他关键性贡献是解决了输入和引用图像之间的情境差异所带来的挑战，这可能导致不相关的情境之间产生不可取的迁移。例如，考虑在输入图像中具有较少天空可见的图像，忽略风格和输入之间情境差异的迁移可能会导致天空风格“溢出”到其余的图片中。我们展示了如何使用L.-C. Chen等人所著的《Deeplab：具有深卷积网络、动态卷积和完全连接crfs的语义图像分割》（Deeplab: Semantic image segmentation with deep

convolutional nets, atrous convolution, and fully connected

crfs.）中所提及的语义分割来解决输入和参考图像中的这个问题。同时，我们的研究结果表明此方法具有非常好的有效性，它满足了各种各样的场景，包括时间、天气、季节和艺术编辑的迁移，从而产生令人满意的逼真效果。

了解论文更多详情，欢迎下载原文：

实现

接下来介绍（Deep Photo Styletransfer）在Tensorflow上的实现，torch上的实现请点击参阅更多详情。

这个实现支持L-BFGS-B（这是原作者所使用的）和Adam，以防当Tensorflow升级到更高版本时，ScipyOptimizerInterface不兼容。

由于Tensorflow的，这种实现可能会更简单一点。

此外，由于另一个计算拉普拉斯稀疏矩阵，所以对MATLAB没有依赖性。以下是将照片风格迁移到另一张照片的示例。

 

免责声明

本软件仅用于学术和非商业用途。

设置

相关性

•

•

•

•

• （用于平滑局部仿射，在CUDA 8.0上测试）

建议使用，因为你只需要手动安装Tensorflow和PyCUDA即可。CUDA是可选项，但是推荐大家使用。

下载VGG-19模型的权重

采用Tensorflow的VGG-19模型，对类接口进行了少量修改。VGG-19模型的权重存储为.npy文件，可以点击。下载后，将权重文件复制到./project/vgg19目录。

用法

基本用法：

你需要指定内容图像的路径，样式图像，内容图像分割，样式图像分割，然后运行命令

python deep_photostyle.py 
--content_image_path <path_to_content_image> 
--style_image_path <path_to_style_image> 
--content_seg_path <path_to_content_segmentation> 
--style_seg_path <path_to_style_segmentation> --style_option 2

例如：

python deep_photostyle.py 
--content_image_path ./examples/input/in11.png 
--style_image_path ./examples/style/tar11.png 
--content_seg_path ./examples/segmentation/in11.png 
--style_seg_path ./examples/segmentation/tar11.png 
--style_option 2

其他选项

--style_option指定了三种不同的风格迁移方式。--style_option 0是在torch中产生分段的中间结果，如torch文件neuralstyle_seg.lua。--style_option 1使用此中间结果生成最终结果，如torch文件deepmatting_seg.lua。--style_option 2将这两个步骤组合为一行命令直接生成最终结果。

运行python deep_photostyle.py --help to see a list of all options查看所有选项的列表

图像分割

该repo不提供图像分割脚本，并且仅使用来自torch版本的分割图像。使用的滤镜颜色也与它们相同。你可以指定自己的分割模型和掩码颜色来自定义自己的样式迁移。

示例

这里有更多的结果来自tensorflow算法（从左到右是输入，样式，torch结果和tensorflow结果）

 

致谢

这项工作是在Liu Yang作为阿里巴巴—浙江大学前沿技术联合研究中心研究实习生的时，由Song Mingli 教授和 Jing Yongcheng教授指导下完成。

我们的tensorflow的实现基本上效仿。

我们使用martinbenson的来计算Matting Laplacian矩阵。

引文

如果你发现此代码对你的研究有用，请援引：

@misc{YangPhotoStyle2017,  author = {Yang Liu},  title = {deep-photo-style-transfer-tf},  publisher = {GitHub},  organization={Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies},  year = {2017},  howpublished = {\url{https://github.com/LouieYang/deep-photo-styletransfer-tf}} }

 

源代码：

欢迎加入

关注“机器人圈”后不要忘记置顶哟

↓↓↓点击阅读原文查看中国人工智能产业创新联盟手册