每一个人都是梵高A Neural Algorithm of Artistic Style
Posted liguangsunls
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了每一个人都是梵高A Neural Algorithm of Artistic Style相关的知识,希望对你有一定的参考价值。
文章地址:A Neural Algorithm of Artistic Style
代码:https://github.com/jcjohnson/neural-style
这篇文章我认为可以起个浪漫的名字——每一个人都是梵高。
主要做的一件事情非常有意思。就是例如以下图的等式,通过将a图的style和p图的content进行融合。得到第三幅图x。style+content=styled content
怎么做呢?首先他定义了两个loss。分别表示终于生成的图x和style图a的样式上的loss,以及x和content图p的内容上的loss。
通过optimize总的loss求得终于的x。
Details
所用的CNN网络是VGG-16,利用了它16个卷积层和5个pooling层来生成feature。
如果某一层得到的响应是
content loss
如果p和x在CNN中的响应分别为Pl和Fl。将他们内容上的loss表示成每一个pixel的二范数:
则用梯度下降法,content loss对F求导为:
Style Loss
图x的style表示为
那么每一层style loss为
当中style图a的在CNN中的响应为A。
则总的style loss为每一层的加权和:
Total Loss
在定义好了两个loss的形式以后,又回到了最初的问题,就是最小化总的loss:
要注意的是。不同于一般的CNN优化,这里优化的參数不再是网络的w和b。而是初始输入的一张噪声图片x
终于我们想让他变成右图这样styled content。
Experiments
对同一张content图片运用不同style的结果例如以下图所看到的,fantastic!!
total loss中
α 和β 的比例:
从上到下表示的是运用不同conv层的feature进行style,conv1->conv5是一个从总体到局部的过程;
从左到右表示的是不同的α/β 的比例,10?5 ->10?2 是指更注重style还是更强调content。
以上是关于每一个人都是梵高A Neural Algorithm of Artistic Style的主要内容,如果未能解决你的问题,请参考以下文章