网易伏羲斩获顶会ICCV人脸表情国际大赛两项冠军

Posted 2021-08-17 资讯汇

近日，计算机视觉领域国际顶会 ICCV 2021公布了第二届人脸表情国际挑战赛（The 2nd Workshop and Competition on Affective Behavior Analysis in-the-wild (ABAW)）的比赛结果。网易伏羲虚拟人团队从全球146支队伍中脱颖而出，斩获两项冠军及一项亚军，展示出网易在AI人脸表情感知这一前沿领域的强劲科研实力。

ICCV是全球计算机视觉领域的三大顶级会议之一，以论文录用率低、学术含金量高著称。此次ICCV 2021举办的人脸表情国际挑战赛，致力于推动AI感知人脸表情领域的技术提升及应用落地，推动AI更好地理解人类的情绪和行为，建立人机交互的信任度、理解度和亲密度。通过本次挑战赛，AI对人类表情感知的能力逐步提升，相关产业应用有望加速落地。

相较首届比赛，本次竞赛难度大幅增加。一方面，本次比赛的564个视频数据集包含复杂多样的光照、角度、遮挡以及不均衡的数据类别，考验模型的抗干扰和泛化能力；另一方面，由于缺乏视频中人物身份数据信息，导致人脸表情与身份信息的耦合增强，而这一现象也对模型的泛化能力有着更高的要求。

网易伏羲虚拟人团队基于自研表情编码，提出的多任务串联框架表现突出，分别在人脸表情动作单元检测（Facial Action Unit Detection）、情绪识别（Seven Basic Expression Classification）赛道斩获冠军，并在愉悦度-唤醒度评估（Valence-Arousal Estimation）赛道获得亚军。

（在人脸表情动作单元检测中，网易伏羲以F10.506，准确率0.888，获得冠军）

（在情绪识别中，网易伏羲以F1 0.763，准确率0.807，获得冠军）

（在愉悦度-唤醒度评估中，网易伏羲以一致性相关系数(CCC)指标0.49，获得亚军）

值得一提的是，得益于网易伏羲此前自研的人类表情编码等研究成果，AI感知人类表情的精度在本次比赛中大幅提升。这一研究成果，也被另一AI国际顶会CVPR 2021收录，引发了行业的高度关注。

网易伏羲提出的人类表情编码，能够构建一个紧致、连续的表情空间。将其作为主干网络，可以帮助提取与身份特征无关的表情特征，提升下游任务的效果。另外，由于三个赛道的任务存在一定耦合关系，网易伏羲的框架提出了一种从物理层面到抽象层面的串联多任务结构，改善了数据类别不均衡的问题。

（网易伏羲提出的多任务串联框架）

据悉，人类表情AI感知技术应用场景广泛，可服务游戏、数字文旅、心理测试等领域。以游戏为例，采用人类表情AI感知技术后，AI能够根据视频等信息，更准确地感知人类情绪并做出合理自然的回应。借助网易伏羲模型提取到的表情特征，一段由语音驱动、自动合成的NPC表情动画，能够更细腻、传神地表现游戏人物的情绪。这有利于进一步提升AI合成动画的质量、缩短游戏研发周期、降低制作成本。

（网易伏羲语音驱动表情动画自动合成素材来源：《天谕》手游）

（网易伏羲语音驱动表情动画自动合成素材来源：《逆水寒》端游）

据了解，网易伏羲正在基于该技术，为一款新游戏开发与角色表情相关的一系列AI互动玩法。近期，玩家就可以在该游戏公测中，实时调整游戏角色的表情和神态，精准表达自己的喜怒哀乐，在虚拟世界中体验堪比真实世界的人际互动乐趣。

网易伏羲成立于2017年，是国内专业从事游戏与泛娱乐AI研究和应用的顶尖机构，已发布80多篇AI顶会论文，拥有100多项专利，在虚拟人、智能捏脸、AI创作、AI反外挂、AI对战匹配、AI竞技机器人等多个领域领先技术。目前，网易伏羲正在向游戏、文旅、文娱等产业开放AI技术及产品，目前已服务超100家客户，应用日均调用上百万次。