我是AI工程师，却在猪厂做“美容”

Posted 2022-09-16 程序员的店小二

文/文斌

来源：商业数据派

2022江苏卫视跨年演唱会上，周深与邓丽君一曲跨越时空的合唱让人久久不能自已。但当人们从歌曲的旋律中回过头来，大家更感兴趣的，或许是邓丽君这样虚拟形象应当如何构建。

毕竟，元宇宙已经来了，而在这个颜值即正义的时代，我们真实的长相没得选择，元宇宙的长相却可以定制。

有需求就会有市场，让人在虚拟世界“长”出一张好看的脸这件事自然也早就有人在做。

2021年年初，Epic Game公司旗下的虚幻引擎平台发布了一款新的工具MetaHuman Creator，宣称能够让任何人在几分钟里创造一个配备完整骨骼、毛发和服装的数字人形象。

在韩国，有人已经通过MetaHuman Creator制造的虚拟形象在游戏直播平台上成为网红，年入千万。在国内，类似的AI捏脸技术其实也早已在《逆水寒》《天谕》《永劫无间》等诸多游戏中落地。

然而，作为AI捏脸技术的构建者，AI捏脸师的幕后故事却不太被人们所知。

但最近，随着元宇宙概念的风起，在虚拟世界里塑造一个更真实的人物形象成为建设元宇宙的基础技术之一，像晚丰一样长期从事AI捏脸技术研究的工程师们也开始被推到了前台。

所以这一次，商业数据派也访谈了网易伏羲的几位AI“捏脸师”，看看在他们眼中，一个新兴的职业从幕后到台前，究竟经历了怎样的故事？而面对已经乘风而起的元宇宙，他们又期望技术给世界带来怎样的改变？

颜值即正义的虚拟世界

捏脸是第一步

颜值即正义，进入元宇宙的第一步就是创建一个虚拟形象。

经常玩游戏的朋友都会知道，为了增强体验，现在很多游戏都会设置一个环节，让玩家可以为自己的角色亲手塑造一个形象。

2013年，韩国游戏厂商NCSoft推出的一款主打东方武侠和捏脸系统的游戏《剑灵》在国内爆火。从此之后，捏脸系统就逐渐成为了绝大多数MMORPG类游戏中不可或缺的一部分。2018年，网易推出一款大型端游《逆水寒》，其中就包含了捏脸系统。

（图：游戏《剑灵》中的捏脸效果）

“当时的捏脸系统很复杂，几十上百个滑块，调整各种参数，普通玩家要好几天才能捏出一个自己的形象。”AI捏脸师，网易伏羲视觉技术负责人神秀说道：“这个流程太复杂，我们希望开发一个AI算法，让每一个用户都能用一张照片在游戏中快速创建让自己满意的形象。”

“我们最初的构想是，希望AI能够模仿真实人类在捏脸时的反馈，比如我先捏一个初稿，然后和用户上传的图像对比，看看哪里不像，比如说眼睛、嘴巴，然后再针对性地去调整。然后再对比，再调整，如此反复，最终让两者无限的接近一致。”

说起来容易，但做起来却并不简单。

“刚拿到这个课题的时候是最难的。”神秀告诉商业数据派：“因为整个业界在之前都没有人做过这个事，没有先例可以借鉴。”

首先就是如何捏脸的问题，当时伏羲内部其实也从不同角度讨论了许多方法，但最终只有两种是比较成熟可行的。

一种是从骨骼捏脸的角度去做尝试，这种方式比较成熟，也比较适合现有的一套产业化流程，所以在游戏中落地也比较容易。但它的缺点就是没有那么像。

另一种方案就是从人脸重建的角度去尝试，这套方案可以完全重建人脸的三维贴图，甚至人脸皮肤的每一个褶皱。但它的缺点就是计算的耗时会比较长，然后同步也会比较困难，这也让它不太适合游戏的场景。

（图：网易伏羲捏脸的技术原理）

确定了如何捏脸，第二个问题就是如何落地。网易伏羲技术负责人木白告诉我们，捏脸这项技术，早期主要就是服务雷火游戏，所以直接的问题就是如何与游戏系统相结合。

按照最初的设计，捏脸系统采用深度学习算法编写。但要与游戏相结合，就需要把游戏的渲染系统引入到深度学习算法里面去调优。而问题是，游戏的渲染系统没有办法读懂AI的数学参数。

面对这些问题，再三衡量之后，伏羲最终决定在基于神经网络算法的基础上再开发一套游戏渲染系统，从而将整个pipeline（综合解决方案）打通。

在一系列研发的问题解决之后，本以为之后的工作会轻松一些，但另一个新的问题又出现了，而且这个问题还是一直埋头开发的程序员们之前一直没想到的。 

“使用这套系统，需要玩家上传一张照片的，所以在游戏中我们会提示玩家上传一张正脸照片。”神秀告诉我们：“在我们的预想中，玩家提供的照片是正脸、角度正常、然后光照是均匀的、手也不要抖。”

“但大多数玩家不会听你的，即使你的提示写的很诚恳，他们也是随便一拍完事。这样自动捏脸的效果肯定就不会好，所以许多玩家就会说，这个系统真垃圾。”

“我们肯定也会感到很委屈，但也很快认识到自己的错误。”神秀回顾道：“我们一开始预设的是一个理想的实验室环境，真实的线上环境肯定不是这样的，它会面临许多干扰，比如拍摄时的光照，不同设备的拍摄条件，是否手抖等等。”

“另一个错误则是，我们一开始设想的是让玩家来配合技术，而不是技术去适应玩家，所以没考虑到之前那些问题。”

根据这些情况，网易伏羲团队依靠提高算法的鲁棒性，让随手拍的照片都能被识别。除此之外，还对算法做了进一步的加速，减少了玩家的等待时间，也会适当地对虚拟形象做一些美化。

在与玩家不断的“碰撞”下，捏脸系统也逐渐得到完善。

技术男学化妆

虽然AI捏脸的开发过程并不容易，但事实上，有些难题反而会让这个过程变得更加有趣。

“你肯定很难想象我们一堆做技术的直男，会去看美妆视频，研究口红色号。”神秀笑谈道。

事情起因，神秀和同事们在做捏脸算法的时候，发现许多女玩家会倾向于把自己好看的照片，比如美颜或者妆后的照片拿上来，这和男玩家有很大不同，男玩家可能就是随便拍一下。

“在我们最初的认知里，女生化妆就等于涂口红嘛。所以就想加一个口红，相当于给女玩家的捏脸加上了妆容。”神秀回忆道：“我们几个男生也讨论过，比如说口红有几种颜色，但是我们没有人知道，所以最后就随便拍板定了三种颜色认为应该足够了。”

“后来这件事情被产品经理发现了，我们就被喷了。”神秀有些不好意思：“我们产品是个女生，她告诉我们口红有多少种色号。而不止我们之前定的红色、橘色、大粉红色。”

这件事情之所以会被如此在意，是因为按照算法，为了让捏脸的效果更自然、精准，带有妆容的照片一般都需要先进行检测和还原，捏完脸之后再匹配一些系统的妆容。

因此，要让系统自动实现这个过程，工程师在编写算法的时候自然也需要对女生妆容的效果有一些基本的了解，比如高光、阴影、眉毛的造型、腮红的款式、雾面感、乱神感等等。

“事情闹出了笑话，所以我们后面就真的去B站、各种短视频上学习化妆。”神秀说道：“看了之后才知道，原来化妆还有这么多步骤，什么眼影、腮红、遮瑕、阴影等等，我们从中也了解到许多神奇的知识。”

“我会在B站上看一些仿妆，像之前很火的范冰冰仿妆。”同为捏脸师的晚丰说道：“算不上系统的学习，就是会关注、了解，然后发展成为一个业余爱好，了解这些之后，起码和女朋友聊到化妆话题的时候就不会再接不上话了。”

“现在我们比之前好多了，起码不会再将化妆和涂口红划上等号，看到一些妆容也能大概能知道她可能涂了什么。”神秀说道。

除了化妆，从事这份工作之后，对人的了解也会加深入。晚丰告诉商业数据派，因为捏脸经常会了解一些人的面部结构，比如中庭长短、三庭五眼之类的。工作久了之后，个人审美也会提升一些。

晚丰提到，他是2020年初进入这个岗位，至今已经快两年了。和一些科班出身的同事不同，晚丰在学校的专业是自动化，后来一直做视觉AI相关的工作。进入智能捏脸这个项目，除了团队内部机缘巧合之外，更大程度也在于自己的兴趣。

日常休息的时候，晚丰也会去游戏中体验自己开发的系统，捏一些的自己喜欢的角色。当一个喜欢的二次元形象通过自己开发的系统逐渐变得鲜活的时候，就会感受到一种特别喜悦。 

“而且通过我们开发的算法，让更多地人都能够感受到开心的时候，其实是很自豪的。”晚丰告诉商业数据派，捏脸和其他产品不同，这份工作直接服务于用户，能够和用户直接交流，能够给玩家带来快乐，这本身就是一件很酷的事情。

捏脸，也是在捏世界

此前，捏脸最主要应用在游戏的世界，但元宇宙的来临，让虚拟形象有了更多用武之地。

在2020年，由于新冠疫情在全球范围的影响，线上会议、活动、交流变得越来越寻常，捏脸技术曾经有限的使用场景也开始迎来了改变的契机。

这其中，一个非常重要的时间是2020年7月24日，在一个名叫动物森友会的游戏中，一场世界顶级的学术会议正在准备开始。

虽然是在游戏世界，但主持人仍然郑重地表示：“很抱歉这场活动出现了一些延迟，但现在我很高兴地宣布 ACAI 2020 Workshop 正式开始。”

（图：第二届国际分布式人工智能学术会议）

作为世界顶级的学术会议，ACAI 2020 Workshop 在游戏世界举办打开了虚拟世界举办严肃会议的大门。

这一年，作为第二届国际分布式人工智能学术会议（DAI2020）的主办方，南京大学也面临线下疫情的困扰。

南京大学老师找到网易，提出想将活动搬到线上举办的想法，双方由此一拍即合。于是，依托最早一个版本的瑶台，DAI2020搬到了线上举办。

于是，300余位AI领域学者在网易游戏《逆水寒》中参与了DAI2020大会，学者们上传照片就可以实现自动AI捏脸，让线上的学术会议也有了线下的真实感。

“除了外部的需求，公司内部也有许多会议的需求，比如公司年会、招聘，以及一些远程的讨论会等等。”神秀告诉商业数据派。

“我们后来在游戏捏脸基础上还做了一版迭代，在不依赖游戏捏脸系统本身的情况下去实现一个完全重建的游戏捏脸算法。这一次尝试，也让我们得以解锁捏脸在更多场景的应用，比如网易沉浸式活动平台瑶台就是这套算法的落地。”

今年12月网易云音乐在港交所上市，其中线上部分就是在瑶台中进行的。2000年29岁的丁磊和2021年50岁的丁磊，与线下真实的丁磊同时敲下上市的铜锣，实现了三个“丁磊”跨时空对话的奇特场景。

（图：网易云音乐上市敲钟）

显然，从动森中的ACAI 2020 Workshop到网易云音乐的敲钟，再到近期百度发布“希壤”，越来越多活动开始选择在虚拟平台中举办，而捏脸成为人们在虚拟世界中建立认知，获得真实感的第一步。

“在不同的场景中，我们会希望表现出不同地形象。”从游戏到国际会议，关于不同场景下的捏脸应用，伏羲捏脸的产品经理楚涵也有自己思考。

“比如社交、化装舞会、party，我们会需要一些有趣的形象，但在严肃性的会议，我们的形象一定是和真人1:1或者80%-90%相近的，这样能让参会的用户更有沉浸感。”

如今，随着元宇宙的概念越来越火，捏脸也在更多地场景中被市场和行业所重视。

“我理解的元宇宙，就是互联网从2D到3D的过程。”神秀和我们谈到：“现在的互联网更多传递的是一个2D的数据，2D的文本、2D的视频，所以我们在社交媒体上的形象是通过头像来展示的。但进入元宇宙之后，我们身处在内容当中，成为内容的一部分，也会需要一个3D的形象来作为自己的“头像”，而捏脸技术恰恰就能提供这样的服务。” 

可以说，捏脸技术已经成为了构建元宇宙的基础技术之一。而作为捏脸技术的重要应用，虚拟会议平台也正在拓展更多样化的应用场景。

“现阶段瑶台办了许多的线上会议，但未来我们并不想将它局限成一个线上会议系统，期望它能够给人们的生活带来更多的改变。”网易伏羲技术负责人木白说道。

“未来，我们可能会尝试更多地线上活动，包括展会系统、电影院、教室、婚庆等场景等等，让更多人通过虚拟平台体验到更便捷、更有趣、更有仪式感的生活。”

再回过头来看，捏脸技术从萌芽到发展，参与其中的从业者们不仅自己因为捏脸而改变，同时因为他们捏的“脸”，整个世界也在发生悄然的变化。

对于这些平日里隐藏在写字楼高大的落地玻璃，或者格子间背后的人工智能工程师来说，他们是在捏脸，同时也塑造着这个世界。