风格转换简介

Posted 2022-12-06 Young_Gy

• 风格转换
• 优化问题
  • 综述
  • 损失函数
  • 训练
  • 例子
  • 代码
• 网络转换
  • 结构
  • 训练
• 参考

风格转换，是把一张图片转化成同内容但包含某风格的新图片。本文将介绍如何让机器学习风格转换，包含两种方法：优化问题求解、转化网络求解。

风格转换

风格转换，就是根据现有的风格照片$S$，把当前照片$C$转化成带有$S$风格同时保留$C$内容的照片$T$。

本文将叙述两种风格转换的思路：

1. 将风格转换变成优化问题的求解，构建$T,C$之间的损失$L_c$以及$T,S$之间的损失$L_s$，同时增加图片平滑的损失$L_v$。通过求解$\\min_T \\sum_i L_i$的优化问题求解。
   • 不直接把目标图片$T$当做求解变量，而是构建一个transform network把内容图片$C$转化成目标图片$T$，以类似1中的方法构建损失函数，通过求解transform network的参数求解该问题。

优化问题

综述

首先，陈述问题：假设已知风格照片$S$、当前照片$C$，求目标照片$T$，要求带有$S$的风格并且保留$C$的内容。

下面，确定几个损失函数：

• $L_s$：$T$和$S$风格上的距离
• $L_c$：$T$和$C$内容上的距离
• $L_v$：$T$不平滑的度量

最后，便是求解优化问题：

$$\\min_T \\alpha_s L_s(T,S) + \\alpha_c L_c(T,C) + \\alpha_v L_v(T)$$

损失函数

优化问题中$L_s,L_c$是通过预先训练的VGG网络得到。

首先，简单介绍下VGG网络：它是一种固定的网络结构，其结构如下所示，一般采用D或E结构，通常叫VGG-16和VGG-19：

那么，为什么$L_s,L_c$是通过预先训练的VGG网络得到呢？

训练后的VGG网络，每一层都对特征进行了抽象，越深得到的特征越具象。所以每一层的特征也就代表了图片不同粒度的抽象，可以根据特征的距离判断图片内容的相似程度。VGG的卷积层得到了feature map，假设其大小是$C*H*W$。

假设在层$l$，$T$的feature map是$T^l$，$C$的feature map是$C^l$，那么$L_c$的计算如下：

$$L_c(T^l, C^l) = || T^l-C^l ||$$

假设在层$l$，S手把手写深度学习(12)：CycleGANs伟大的风格迁移理论基础篇

语音中的风格转换

风格迁移

《Python 深度学习》刷书笔记 Chapter 8 Part-3 神经网络风格转移

图像风格转换(Image style transfer)

CycleGAN及非监督条件图像生成技术简介