谈谈图像的style transfer

Posted Hungryof

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了谈谈图像的style transfer相关的知识,希望对你有一定的参考价值。

总说

主要从几个方面来进行说明吧
- 加快transfer的速度
- 让transfer的效果看起来更加visual-pleasing
- 其他的一些方面
- 用GAN来做

加快style stransfer

谈谈图像的Style Transfer(一)
这里写了 Neural style以及fast neural style。
超越fast style transfer—-任意风格图和内容图0.1秒出结果已经可以将转换做到实时。这篇的一个主要的问题是耗费的大部分时间是在提取隐藏层的patch上。
下面介绍的论文都秉承任意风格图一次前向直接出结果

A Learned representation for artistic style

这个在ICLR 2017发表的文章,核心思想:many styles probably share some degree of computation.就是说,虽然我们可以用fast neural style根据很多不同的style训练不同的模型,但是这些模型的所有卷积层的权值都是一样的!
看原文比较容易:
we found a very surprising fact about the role of normalization in style transfer networks:
to model a style, it is sufficient to specialize scaling and shifting parameters after normalization to each specific style.
In other words, all convolutional weights of a style transfer network can be shared across many styles,
and it is sufficient to tune parameters for an affine transformation after normalization for each style.

他们把这个方法称为condition instance normalization