华为云算法零门槛：零基础教你AI试伊妆
Posted 程思扬_
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了华为云算法零门槛：零基础教你AI试伊妆相关的知识，希望对你有一定的参考价值。
本文亮点：
1、论文解读：带你了解妆容迁移论文创新点、模型结构和模型训练方法
2、代码解读：拆解妆容迁移代云上、AI开发平台ModelArts实操演练、带你轻松实现一键AI妆容迁移
3、学会了这个技能，可以将任何你心仪的妆容一键复制到你的脸上
本文会分为以下4个部分进行介绍
1.架构讲解
2.效果展示
3.数据集·实操
4.华为云Al Gallery
首先提到妆容迁移，大家想到的是什么呢，美颜的App讲妆容复制到脸上，还有就是在网购化妆品的时候，在线试口红色号，粉底，眼影等，都是妆容的应用，还有我们常用的App一些妆容，特效滤镜等等
1、 架构讲解
1.1 介绍
妆容迁移是指将目标图上的妆容直接迁移到原图上的技术，也就是将参考图像上的妆容迁移到我们的图片上，我们还要考虑结构，光线，姿态，表情遮挡等情况
• 传统方法：侧重于图像预处理、特征提取和反射操作
• 基于深度学习的方法：GAN用于图像到图像的迁移任务
BeautyGAN—正面&简单的妆容迁移效果表现良好
PSGAN—处理多种不同的头部姿态&表情的面部
CA-GAN—提出颜色判别器，以改善嘴眼区域的细粒度妆容迁移
LADN—将多个重叠区域的局部判别器用于极致化妆风格迁移
LADN比上面3个的能力要强一些，可以将一些较复杂的情况考虑到，但是它的表现力还是不够的，表现效果不太好，所以呢就引出了我们接下来要讲的CPM
1.2 Color-Pattern Makeup Transfer(CPM)
Paper：https : //arxiv.org/abs/2104.01867
Github：https : //github.com/VinAlResearch/CPM
这是一篇去年，也就是2021年的论文CPM，它有以下四点优势
优势：
-
综合的妆容迁移方法，适用于轻盈以及极致的风格
-
带有两个分支的框架Color Transfer &Pattern Transfer，加入UVspace
中的扭曲面容以消除人脸在形状，头部位置和表情方面的差异 -
引入了一个新的makeuptransfer的数据集，包含极致风格的妆容效果
- State-of-the-art
这篇论文在当时的技术领域也是达到了最高水平，也就是State-of-the-art
接下来我们看看Paper所讲的内容
接下来给大家介绍UV Map Conversion
2.1 UV Map Conversion
论文提出了一个结合色彩变换和图案添加的妆容迁移方法，设计新的结构： Color Transfer Branch & Pattern Transfer Branch，并在训练两个网络分支时使用UV 空间中的扭曲脸来消除输入面在形状，头部姿势和表情方面的差异
• UVmap是计算机图像学中三维物体纹理映射的一种常见技术
• 物体的纹理被压扁成一个二维图像，物体的每个三维顶点都与图像上的一个二维位置相关联
• PRNet设计了一个2D UV position map，来编码对齐三维面部形状，它是一个具有三通道的二维图像
我们看一下公式
2.2 Color transfer branch
采用BeautyGAN提出的框架和loss function，其中最关键的loss是Histogram Matching Loss
结论：与BeautyGAN相比，ColorTansfer分支不仅可以捕捉到色彩，还有化妆的结构以及位置信息，表现效果更优
2.3 Pattern transfer branch
• 传统：做分割操作、解除扭曲、重新扭曲
• 使用uv position map将其简化为图像分割
• 提出一个新的数据集CPM-Synt-1
• 采用dice loss
结论：精准检测和迁移pattern，保持其形状，纹理和位置信息不变，表现良好
2、 效果展示
我们来看一下使用UV在Color和Pattern上的效果 ，第一行是color的效果，第二行是pattern分支的效果
接下来是Color & Pattern& Color-Pattern呈现效果
3、 数据集·实操
• MT：包含1115张源图像和2719张参照图像的轻盈化妆容，由BeautyGAN发布用于训练ColorTransfer
• CPM-Real：3895张多尺寸图像，在自然场景下带有多样化的极致妆容数据
• Sticker：577张高质量图案(花，水晶，叶子，字母等等)
• CPM-Synt-1：555张256*256张纹理图像，用于训练Pattern Transfer
• CPM-Synt-2：包含1625张256*256的三元组图像，专门为评估Pattern而设计
接下来我们看一下实操的部分
• Pytorch实现
• UVconversion和逆向渲染基于PRNet的代码和模型
• 使用各自的训练模型，分别训练PatternTransfer和ColorTransfer这两个分支
• Color Transfer ：input=256*256 | epochs =300 | batch size=8 | lr= 0.0001 | Adam optimizer
然后是代码实际操作的步骤
实验步骤：
1.将输入图像分别转换为UV texture
2.texture被传递到两个独立的分支一color&pattern的妆容迁移
3通过合并这些分支的输出来形成最后的uv texture，并将该UV texture映射
转换到图像空间以获得最终的输出
4、 华为云Al Gallery
接下来简单介绍一下直播讲解的案例，首先我们打开华为云开发者的Al Gallery AI妆容迁移 下，可以进入如下界面：
进来之后我们等待初始化后会出现选择运行环境界面，会提供限时免费的资源
我们可以看到整个的大纲，浏览一下相关介绍然后下面大概简述一下操作步骤，具体的可以看下官方文档
4.1.准备代码及数据
相关代码、数据和模型都已存放在OBS中，执行下面一段代码即可将其拷贝到Notebook中
import os
import moxing as mox
if not os.path.exists("/home/ma-user/work/CPM")：
mox.file.copy_parallel(obs://modelarts-labs-bj4-v2/case_zoo/makeup_transfer/CPM.zip，"/home/ma-user/work/CPM.zip")
os.system("cd /home/ma-user/work;unzip CPM.zip;rm CPM.zip")
if os.path.exists("/home/ma-user/work/CPM")：
print(Download success)
else：
raise Exception(Download Failed)
else：
print("Project already exists")4.2.安装所需要的python模块
!pip install torch==1.6.0 torchvision==0.7.0
!pip install tensorflow==1.14.0
!pip install blend_modes==2.1.0
!pip install segmentation_models_pytorch==0.2.1
!pip install scikit-image==0.19.3
!pip install albumentations==1.2.1
!pip install dlib==19.21.14.3导入依赖包
# 关闭TensorFlow中的warning
# import tensorflow as tf
# tf.logging.set_verbosity(tf.logging.ERROR)
# 进入项目路径
%cd /home/ma-user/work/CPM
/home/ma-user/work/CPM
import argparse
import os
import cv2
import numpy as np
from makeup import Makeup
from PIL import Image4.4自定义参数
参数定义
def get_args()：
parser = argparse.ArgumentParser()
parser.add_argument("--checkpoint_pattern"， default="./checkpoints/pattern.pth"， type=str) # pattern预训练模型
parser.add_argument("--checkpoint_color"， default="./checkpoints/color.pth"， type=str) # color预训练模型
parser.add_argument("--device"， default="cuda"， type=str) # cuda
# parser.add_argument(--batch_size， default = 1， type = int)
parser.add_argument("--prn"， default=True， type=bool) # PRNet基于位置图回归网络的联合三维人脸重建与密集对齐
parser.add_argument("--color_only"， default=False， action="store_true")
parser.add_argument("--pattern_only"， default=False， action="store_true")
parser.add_argument(
"--input"，
type=str，
default="./imgs/non-makeup.png"，
help="Path to input image (non-makeup)"， # 输入图像
)
parser.add_argument(
"--style"，
type=str，
default="./imgs/style-2.png"，
help="Path to style image (makeup style | reference image)"， #妆容参考图像
)
parser.add_argument("--alpha"， type=float， default=0.5， help="opacity of color makeup") # Color妆容调整参数
parser.add_argument("--savedir"， type=str， default=".") # 输出保存路径
args = parser.parse_args(args=[])
print(" ⊱ ──────ஓ๑♡๑ஓ ────── ⊰")
print("以上是关于华为云算法零门槛：零基础教你AI试伊妆的主要内容，如果未能解决你的问题，请参考以下文章