4年4篇顶刊顶会论文 清华开源肖像线条画生成代码，惟妙惟肖模仿人类作画

Posted 2022-05-01 程序员对白

近三年，刘永进教授课题组在该方向上已经发表了四篇PAMI和CVPR论文。

而这4篇论文有着相同的一作：易冉。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eevmqDo9-1646234608101)(https://mmbiz.qpic.cn/mmbiz_jpg/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyUXLBNicYFZuyduuHia1icpR6PCnDJe8lbyRRscRdypcBGHdDpwibKJQKIg/640?wx_fmt=jpeg)]

易冉现在是上海交通大学计算机系助理教授。她于2016年获得清华大学工学学士学位，2021年获得清华大学工学博士学位。她的研究方向包括计算机图形学、计算机视觉和计算几何。近五年共发表录用20余篇论文于IEEE PAMI、ACM TOG、TVCG、CVPR、ICCV、AAAI等国际期刊和会议。

2021年12月，易冉获得中国图象图形学学会2021年度石青云女科学家奖。

她的博士学位论文《艺术肖像画的多风格与跨模态深度生成模型研究》，受到答辩委员会主席张钹院士、委员查红彬教授、陈熙霖教授、史元春教授和胡事民教授的一致好评，入选2021年清华大学优秀博士学位论文。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1oKRVQfY-1646234608102)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyMRk22qgf3dcPUDF4vlTVu05ZWb9PmmCiaxC34ficvLAoMiaYFRG6b445Q/640?wx_fmt=png)]

除此以外，易冉还获得过中国计算机学会计算机视觉专委会学术新锐奖、第十六届图像图形技术与应用学术会议（IGTA2021）论文竞赛一等奖、北京市图象图形学学会优秀博士论文、微软学者提名奖等学术奖项。

并且她还担任中国图象图形学学会智能图形专委会、动画与数字娱乐专委会委员，AAAI程序委员会委员，IJCV、TIP、TMM、CVPR、ICCV、NeurIPS、ICLR、VR等重要期刊会议审稿人。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XtE29p5S-1646234608102)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb2J6KKZjCsyomDSuQoxWrAR2em7g0Lsc6gmQVbCNLCaiaPOgDEicX7bpFrDQGNkrUJpQekCqqia0y8HQ/640?wx_fmt=png)]

课题组部分成员合影

连续4年发表顶刊顶会论文

2022

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-nYA3fLjz-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyuBFr7bETAfJMazV9H6xQFicVJV94MvAPadv4UNtBJQYo0ZM6gp2Olrw/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/TPAMI.2022.3147570

代码链接：https://github.com/yiranran/QMUPD

2021

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-e1RZprN3-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyJT7elwymGDicFnJpYUg2VAZDZKmAJRmOpAp8rLV4C5g2oyCUrqpPPew/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/TPAMI.2020.2987931

代码链接：https://github.com/yiranran/APDrawingGAN2

2020

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-w8uWdfdn-1646234608103)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjysT8P4CRic43LWZa8Z3l47j0tph8UGP7GKCmsibhhDhRqEicVdhAXVqP6Q/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/CVPR42600.2020.00824

代码链接：https://github.com/yiranran/Unpaired-Portrait-Drawing

2019

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fLUhEgyy-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyWWQbNy0gRVU0em7Q40wUlwulicgrpWycS3q4rcRToB6oXW1kovibY8eg/640?wx_fmt=png)]

论文链接：https://doi.org/10.1109/CVPR.2019.01100

代码链接：https://github.com/yiranran/APDrawingGAN

实现方法

肖像线条画是一种高度抽象、具有表现力的艺术形式，将人物肖像中的丰富信息进行高度压缩，仅用稀疏的图形元素（如线条）表示。精致的肖像线条画需要艺术家精心绘制，十分耗费时间。一些现有方法使用成对训练数据生成肖像画，但是收集数据的过程是昂贵且耗时的。

论文提出一种基于非成对数据的从人脸照片生成肖像线条画的方法，该方法可以（1）使用单个网络生成多种风格的高质量肖像线条画，以及（2）生成训练数据中未出现的「新风格」肖像画。

论文提出一种从人类感知数据中学习肖像线条画质量指标（quality metric）的方法。首先使用现有方法生成许多肖像线条画，并与艺术家的画作混合，收集的样本如下图所示。

通过用户实验收集人类对这些肖像线条画的偏好，由此计算得到每个肖像线条画的质量分数（quality score）。然后用这些数据训练一个回归网络，其输入为一幅肖像线条画，输出为该肖像线条画的质量分数。

该回归网络从人类评估数据中学习，因此其预测的分数可以帮助引导肖像画生成器生成更高质量的结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-alJD8ibo-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyYqJC9WEJUO1DJicibJx4zwK2N4ia5E4ib7AUDFnvqQM3ImwwpKET2ur00w/640?wx_fmt=png)]

为训练质量度量模型收集的肖像线条画样本，包括生成的与艺术家绘制的肖像画。从上至下肖像画质量逐渐下降。

在网络模型的结构方面：

（1）该模型基于非对称循环映射结构和截断损失，以解决非成对训练场景下已有方法常出现的信息隐藏和重要特征缺失问题。

（2）提出基于上述质量度量模型的质量损失（quality loss），以引导生成网络生成「更好看」的肖像画。

（3）通过在生成器部分引入风格特征及风格分类鉴别器，进一步使得单个模型能实现多种风格的肖像线条画的生成。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-c3GYmJNB-1646234608104)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyIiazoY43iaq4ApKBVVeZ7ZqJ1cuBic1HqLTxgVtWaibb77nQFcWgmlH1mQ/640?wx_fmt=png)]

网络结构示意图

论文进一步提出生成训练数据中未出现的「新风格」肖像线条画的方法。在模型的多风格生成场景下，不同的风格特征会导致不同的风格输出，三种目标风格分别对应于向量[1,0,0],[0,1,0]和[0,0,1]。

给定一个「新」风格的肖像线条画参考图，论文提出使用训练好的生成器，在风格特征空间中搜索一个最优的风格特征，使其生成的肖像线条画在风格上与参考图最相似。最佳的风格特征向量通过优化该向量引导生成的肖像画与目标之间的风格距离得到。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-brCGX4tg-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjygv9mx3WoHLsqChmBHlSQvBst4jEicDxQ1bwMe054hlvGyq8Ml2RKUUQ/640?wx_fmt=png)]

「新」风格生成示例

给定（a）中的目标「新」风格肖像画（即在训练数据中看不到的风格），我们通过优化风格损失，找到合适的风格特征向量，生成与目标相似的肖像画。优化过程如（c）所示，最终生成的结果如（d）所示。优化过程中风格损失的变化如（e）所示。

论文对生成模型进行了特征图可视化，并将其与人脸语义图进行比较，以进一步分析生成网络。实验结果验证了生成器在生成过程中学习了人脸的语义信息。大量实验表明，论文所提出的模型优于目前最先进的方法。

下图给出了所提出的方法与多种风格迁移、图像到图像转换方法的对比结果。论文所提出方法生成了比现有方法更高质量的结果，既保留了人脸结构，又具有良好的图像和线条质量。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QkxPxCts-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyTJHmU1Cbt1kT4bv1b7opQxz7fNFibrp5S81k3BNtX4ibqAicf891eDABw/640?wx_fmt=png)]

与最新方法的比较

(a)输入人脸照片；(b-c)风格迁移方法：Gatys和线性风格转换方法；（f)单模态的图像到图像的转换方法：DualGAN，CycleGAN，UNIT；（d）多模态的图像到图像的转换方法MUNIT；(e)论文的方法去除质量损失，输出的三种风格；（i）使用成对训练数据的肖像生成方法APDrawingGAN++方法；(j)论文方法生成的三种风格。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wN0FWTUt-1646234608105)(https://mmbiz.qpic.cn/mmbiz_png/UicQ7HgWiaUb0RUApLqwQYEkxZU0gdXEjyiad1qLGa3q34wTdibKTA4xX8zNCuaEtcXfANZsUcEhNl3o42FWtFy9tQ/640?wx_fmt=png)]

更多实验对比

(a)输入人脸照片；(b)DualGAN方法结果；©CycleGAN结果；(d)UNIT结果；(e-g)论文方法的结果。

关于我

你好，我是对白，清华计算机硕士毕业，现大厂算法工程师，拿过8家大厂算法岗SSP offer（含特殊计划），薪资40+W-80+W不等。

高中荣获全国数学和化学竞赛二等奖。

本科独立创业五年，两家公司创始人，拿过三百多万元融资(已到账)，项目入选南京321高层次创业人才引进计划。创业做过无人机、机器人和互联网教育，保研清华后退居股东。