大淘宝技术举办ECCV2022首届WCPA 3D人体人脸重建算法大赛

Posted 2022-05-03 阿里巴巴淘系技术团队官网博客

大淘宝技术联合海天瑞声、中科院自动化所及意大利帕尔马大学等单位，在计算机视觉顶会ECCV2022上举办首届WCPA（1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars）大淘宝技术3D人体人脸重建算法大赛。

背景

数字空间的概念引爆了下一个信息互联时代的无尽想象，数字虚拟与物理现实的完美连接，有机会打造理想虚拟世界。

数字空间的发展路径包括两个方向：一是由实向虚，基于虚拟世界对于现实世界的模仿，构建沉浸式数字体验；二是由虚向实，基于虚拟世界的自我创造，形成独立于现实世界的全新存在，甚至有可能对现实世界产生影响。

在电商领域，移动互联网时代主要通过文字、图片、视频等2D形式建立线上连接平台，为消费者提供线上消费全链路服务；而在数字空间时代，电商的想象力不仅是现实商业的数字化复建，更加关注的是如何由实向虚，通过3D重建及渲染技术，将真实物理世界的人、货、场等电商核心元素在虚拟世界实现数字化重构，建立完全虚拟化的平行电商世界，为消费者带来数字空间独有的消费体验。

大淘宝技术团队基于3D重建及XR技术等多项技术融合在淘宝的电商场域中不断升级新消费体验，如3D商品重建工具Object Drawer帮助商家低成本完成商品3D重建；淘宝直播3D直播间带来的影视级XR直播体验，以及AR淘中的AR试妆、AR试鞋、AR试镜、AR试表等虚拟购物体验。

WCPA大淘宝技术3D人体人脸重建算法大赛启动

2020年，阿里巴巴大淘宝技术与海天瑞声、中科院自动化所共同启动在3D人体人脸算法重建方向上的研究，三方对促进整个技术生态的共同进步有着共同的积极认知。因此，大淘宝技术与这些合作方，以及意大利帕尔马大学等单位深度合作，决定在计算机视觉顶会ECCV2022上举办首届WCPA（1st International Workshop and Challenge on People Analysis: From Face, Body and Fashion to 3D Virtual Avatars）大淘宝技术3D人体人脸重建算法大赛，旨在共同推动高精3D人体人脸重建的研究，并希望未来与技术生态内的各方尝试推动AI算法在淘宝3D直播间与AR淘等电商应用场景中的有益实践。

尽管3D人体人脸重建算法发展迅速，但现有方法仍然存在局限性，例如：

1. 在人体重建任务上，现有方案大多采用单视角输入，导致缺失的区域（如后背区域）重建效果精度不高。多视角输入方案常常需要执行相机校正过程，操作难度比较高。

2. 在3D人脸重建任务上，已有的方法主要关注3D人脸几何重建的精度，通常使用正交投影来近似人脸的透视投影过程。这种近似在人脸离相机比较近时，不能很好地建模透视投影带来的人脸形变，导致效果不佳。

为了找到解决上述问题的有效路径，本次大赛的合作方将为参赛团队准备多视角多姿势人体人脸数据集 MVP-Human（注：该数据集在法律规定的范围内获取数据，且数据集中涉及到的被采集者已签署协议，授权大赛使用和分发，所有参赛队伍在使用该数据集时，需要经过严格的资格审查并签署相应的使用协议方可获取并参与比赛），以其为基础，此次WCPA竞赛中包含了3D 人体重建和 3D 人脸重建两个赛道，欢迎相关领域的开发者和学者积极参与，共同推进3D XR领域的研究发展。

参赛说明

▐  赛道一：人体赛道

3D人体重建任务中，从图像重建标准空间 (Canonical Space) 的3D人体是一个重要的步骤。标准空间的3D人体采用统一的Pose（如大字型），消除了不同动作对重建的影响，能更准确地衡量人体表面的重建结果。而得到标准空间的人体后，结合蒙皮算法，可以将人体变换到输入图像Pose，或者驱动一段动画，因此标准空间的人体重建是一个有重要意义的任务。

此次比赛中，我们专注于从多视角的RGB图像中重建精确的标准空间的3D人体，避免了完整的3D人体重建冗长的步骤，降低参赛者的参与难度。

人体重建赛道：https://tianchi.aliyun.com/competition/entrance/531958/introduction

▐  赛道二：人脸赛道

基于单目RGB图像的3D人脸重建通常包含两个任务，3D人脸几何重建以及人脸位姿估计。已有的方法主要关注3D人脸几何重建的精度，而使用简单的正交投影来简化人脸的投影过程。在人脸离相机距离比较远时，使用正交投影可以替代透视投影，但是当人脸离相机比较近时，因透视投影造成的形变效应就不能忽略。已有方法由于使用正交投影近似透视投影，不能很好地解释透视投影带来的人脸形变，导致效果变差。

此次比赛中的数据集来自于采自透视投影相机模型的数据，希望在更贴近真实场景的基础上，通过参赛者的方法创新，不断提高3D人脸重建以及人脸姿态估计的精度。

人脸重建赛道：https://tianchi.aliyun.com/competition/entrance/531961/introduction

▐  赛程

• 2022-04-25: 网站上线

• 2022-04-27: 开放队伍注册

• 2022-04-29: 公开训练数据

• 2022-05-06: 公开测试数据，开放测评服务器

• 2022-05-31: 注册截止

• 2022-06-12: 结果和技术报告提交截止

• 2022-07-03: 比赛结果公布，技术报告录取结果通知

• 2022-07-17: 技术报告Camera-ready版本提交截止

（上述所有时间时区为 UTC+8）

奖项设置

联系主办方

关于比赛有任何疑问，请邮件联系 [e-mail]和 [e-mail].

团队介绍

大淘宝技术Meta Team，先后发布了业界知名的端侧推理框架MNN，业内首个基于神经渲染的商品三维重建工具Object Drawer，以及端侧实时视觉和图像处理库PixelAI等。团队在学术方面积极贡献，先后在CVPR、ICCV、NeurIPS、TPAMI等顶级学术会议和期刊上发表多篇论文。欢迎视觉算法、图形算法、3D/XR引擎等领域的优秀人才加入，共同推进数字世界新时代。

✿  拓展阅读 

作者|大淘宝技术

出品|阿里巴巴新零售淘系技术