卡通化-看看二次元的你长什么样

Posted 冰不语

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了卡通化-看看二次元的你长什么样相关的知识,希望对你有一定的参考价值。


CVPR2020收录了一篇卡通化的文章,Xinrui Wang和Jinze Yu的《Learning to Cartoonize Using White-box Cartoon Representations》。可以把人物或者风景画转换为卡通风格的图片,效果非常惊艳。

相比于之前深度学习为人诟病的“黑盒”学习,文章中提出了生成卡通化图片的“白盒”表示法,将图像分解为三种卡通表示,指导网络优化生成卡通照片,三种表示分别是surface表示、structure表示、texture表示。

我个人的理解是,图像的三种表示分别是表示图像的低频特征、中频(结构)特征和高频特征,就像是从远处、不远处和近处的视角分别看同一个人的过程:

  • 低频表示就是图像的整体外观,去掉了所有的纹理和细节。就像是遥望一个人,重点在“遥望”二字。这时只有一个整体的、模糊的观感,能看到这是一个人形生物,只能看到人身上衣服的主色调等信息,人物与周围背景的边界是模糊不清的。近似的人可以摘掉眼镜看看周围,近似700度的我摘了眼镜确认了下,大致就是这种感觉没跑了。
  • 结构表示或者中频表示,就像是更近一点看这个人,但是距离感仍然在,鼻子眼睛等细节还是看不清楚,但是人物轮廓甚至上下衣的轮廓可以看清了,仍然看不清脸。各部分的主色调也更加清晰了。
  • 高频表示就是近看了,细节、纹理和更精细的轮廓等信息都能看到了,这个时候就是所谓“有鼻子有眼”了。

图像被分解为surface表示、structure表示、texture表示之后,卡通化的任务也就比之前端对端的黑盒式学习明确了很多。作者提出用三个独立的模块分别去学习图像的这三种表示,即三个模块分别提取图像的低频、中频和高频的特征。

文章提出了一个包含一个生成器G(Generator)和两个判别器Ds(D_surface)和Dt(D_texture)的GAN框架。

  • Ds用于判别模型从源图像中提取的图像的低频表示与卡通图片(标注)

  • Dt用于判别模型从源图像中提取的图像的高频表示与卡通图片(标注)

  • 用预训练的VGG网络提取源图像的high-leval特征,并在提取的结构(中频)特征和输出之间以及输入照片和输出之间对全局内容施加空间约束

过程可以理解为,

  • 将输入图像通过导向滤波器处理,得到低频表示;
  • 通过超像素处理,得到中频表示;
  • 通过随机色彩变幻得到高频表示。
  • 卡通图像也一样。

将GAN生成器产生的fake_image分别于上述表示结果做损失。其中

  • 纹理(中频)表示与表面(低频)表示通过判别器得到损失
  • 中频特征比较复杂,fake_image的中频表示与fake_image,输入图像与fake_image,分别通过vgg19网络抽取特征,进行损失的计算。

总损失由以上各种损失加权,可以通过改变损失函数中每个特征loss的权重来调整卡通化结果的样式。

这样处理之后,对于大部分图片的卡通化处理都非常惊艳。来几张图看看效果吧。




想自己试试的小伙伴可以下方链接尝试:
自己试试卡通化吧

以上是关于卡通化-看看二次元的你长什么样的主要内容,如果未能解决你的问题,请参考以下文章

二次元卡通渲染之描边

二次元的CSS—— 用 DIV + CSS3 画咸蛋超人(详解步骤)

超好看的二次元透明网站登录页模板

二次元的CSS—— 用 DIV + CSS3 画大白(详解步骤)

二次元的CSS—— 用 DIV + LESS 做一个小黄人构造器

热门聊天表情包怎么找?怎么制作?多平台表情合集,没有找不到的表情包!搞笑-金馆长-张家辉-卡通-二次元-gif等表情大全