淘系技术虚拟AI技术创新未来，斩获IJCAI2021 Video Competition Award

Posted 2021-09-13 阿里巴巴淘系技术团队官网博客

在即将落下帷幕的第三十届国际人工智能联合会议（IJCAI2021）上，淘系技术荣获 IJCAI Video Competition Award 。

第三十届国际人工智能联合会议（international joint conferences on artificial intelligence，简称 IJCAI ）于8月19-26日召开，该会议是国际人工智能领域三大顶级学术会议之一，被誉为国际人工智能科学界的“奥林匹克”。

大会设置IJCAI Video Competition Award旨在让全世界人工智能研究人员有机会展示人工智能技术有趣和让人激动的一面，同时让公众和媒体能够获得AI研究人员提供的第一手准确资料。

阿里巴巴淘系技术“Virtual AI of Alibaba Tao Technology”作品是工业界唯一获奖作品，展示了虚拟AI 技术能力和对人类带来的各种有趣的体验，斩获今年该项赛事季军。

背景

AI技术快速发展，通过3D、CG及动作捕捉等相关AI技术，虚拟AI已经跟人们的日常生活密切相关。与此同时，在电商的购物环境中，淘系技术不断探索虚拟AI技术的创新，在电商丰富且复杂的环境下，充分应用各种虚拟AI技术，给消费者带了全新体验升级的同时，更大大降低了商家个性化经营的成本。

 

虚拟数字人——未来数字人也可以为品牌代言

淘系技术自主研发构建的虚拟代言技术，基于AI深度学习的能力为电商经营者构建免费的代言场景，电商经营者通过上传一张普通的2D衣服图片，虚拟AI引擎会自动渲染生成模特图，或者上传已有的模特，进而实现衣服上身的效果。这部分参考了PF-AFN的技术框架，算法模型如下图：

总体上分为两个阶段

▐  第一个阶段

利用传统的parser-based方案，得到初步的换衣效果，目的是为了得到相同模特相同姿态，不同服饰的数据，由于这样的组合数据几乎无法找到，所以依靠第一阶段生成，再用于后续第二个阶段模特图到模特图的直接换衣。且第二个阶段不需要分割信息的输入，只需要输入模特图和目标衣服就能完成较为自然的换衣。

▐  第二个阶段

首先对衣服warp，经过一个形变网络FPN，使一件衣服形变成与模特身体姿态所匹配的样式，再结合第一阶段得到的初步换衣效果，经过自适应掩码引导的合成网络，分多路、多层提取人与衣服的信息，在融合部分学自适应地学习了与人体结构类似的0到1的掩码，掩码用于指导最终从模特与目标衣服的信息融合，解决了之前方案无法解决高清换衣，换衣有原衣残留，衣服图案不清晰问题。

与此同时AI引擎会结合商品的文本信息驱动模特的五官实现动态口播商品的卖点或推荐理由，模拟主播介绍对应的商品。

这部分技术包含两小块：

• 文本转语音

首先利用TTS技术得到文字对应的语音，输入的文本经过带注意力机制的Encoder-Decoder网络模型，并利用带残差模块的空洞卷积神经网络模型，将梅尔频谱特征表达逆变换为时域波形样本合成最终的语音，实现清晰流畅的语音生成。

• 语音驱动面部五官

驱动视频的算法模型如下图：

首先利用wav2lip方案，将生成的语音作为嘴部驱动的音频A，并利用一段视频序列B作为脸部动作和头部姿态控制源，该视频的身份可任意。同时，利用image animation方法，驱动特定模特进行口播。该方案有效的解决了音频驱动脸部运动的姿态可控和真实性问题，使得虚拟代言由静态展示演变为动态口播，更具感官性。

虚拟代言使得电商经营者能够一键免费请虚拟明星给自己的商品代言成为了可能，极大的降低了经营者的原始投入。

虚拟直播间——沉浸式 3D 直播，主播想在哪播在哪播

同时，淘系技术正在开发一种全新的3D扩展现实的直播拍摄技术，将一系列的实时渲染、云渲染和AI技术组合，推出全球首款可以影视级虚拟拍摄的云技术，让客户和商家，首次在普通手机和电脑上就可以实现令人惊叹的3D影视级视觉效果，商家将不再需要购买昂贵的设备，掌握专业的职能，就可以轻松、低价且高效的在直播中扩展现实，生成虚拟的商品、场景、数字人等，全面提升了商家在直播电商、内容电商中的带货能力和内容创作能力。

▐  满足商业影视级的效果要求

区别于娱乐型APP的端上小型AR技术，面对电商商业拍摄所需的影视级、广告级的MR拍摄严苛要求，该项新技术，突破传统3D模型素材大小的约束（通常只能几MB），也不再局限于使用小型的AI模型，本项技术以先进的边缘计算、云渲染技术，采用数十GB的3D素材，大型更精准的AI模型，借助在云端顶级的GPU算力，支撑起商业标准的MR拍摄。在达到影视级效果的同时，依然能达到传统小AR的实时互动性；

▐  国民易用的体验

区别于传统影视行业，新技术以AI新能力和优秀产品的交互体验，让商家的日播脱离对好莱坞式专业设备、专业团队的依赖；

也区别于传统影视拍摄的冗长周期的离线渲染和人工后期合作，该项新技术支持实时交互、实时渲染、实时创作、实时直播与分发。

在这项技术中，SLAM、VIO和人体动捕等AI技术，被用来重新定义圣殿之上影视级特效的拍摄门槛，成为商家日常开播的易用技术、让其成为真正的国民易用产品。

传统的特效合成师、专业策划、导演、专业灯光师、专业摄像师、动画师、音效师、调色师等的很多重复性工作，正在被这些AI技术和云化技术所替代。

特效灯光、渲染工作站、摄像机、特技等专业设备，也正在被这些技术逐步取代。在场地要求、设备成本、易用性3个方面，正在全面接近现有直播的标准，已经成为一款真正的国民普适易用型的技术；

▐  创新与创作生态繁荣

大量云化3D拍摄素材库、场景库，使得电商的经营者，解脱了拍摄策划、3D创作的困扰，云素材、云创作手法信手拈来，随时开拍。同时我们尊重，也正积极的鼓励和期待传统影级、传统游戏行业生态伙伴和艺术大师的进入，来创新与创作，丰富繁荣直播电商和内容电商的内容创作形式和艺术表现手法。

虚拟家居——秒级生成100个你家的样子

与此同时，淘系技术团队不断尝试和探索，将AI和VR等技术尝试应用在更多行业，推出了中国首款完全自研的免费电商渲染引擎：AceRay。

AceRay应用了业界最顶尖的渲染技术，基于阿里云的基础设施能力，通过躺平设计家平台为室内设计用户提供免费的渲染服务。

AceRay可以在几秒内用光线追踪技术渲染出一幅真实的图像，借助这项技术，我们可以极大的提高设计师的设计效率。通过AceRay提供的低成本渲染技术，电商领域的3D技术大规模应用将成为可能。

 

在这里边，淘系技术部自研的3D智能设计技术,可以帮助消费者进行智能的室内装修设计。消费者只需围绕自己喜欢的一件家具，用手机拍摄一个短视频，3D智能设计基于AI深度学习技术、3D技术、实时渲染技术，就能完成对该件家具的3D建模。

有了3D模型之后，通过利用深度序列生成技术，3D智能设计会围绕该3D模型进行全屋的软硬装室内搭配设计。不仅考虑了单空间(比如客厅)软硬装搭配的协调性（如下图），该技术同时兼顾了不同空间(如客厅与卧室)软硬装搭配的协调性，从而产出能与设计师媲美的设计效果，大幅提升设计效率，最终通过短视频的形式将未来家的样子呈现给消费者。

这项技术，将复杂的需要专业设计师参与才能完成的装修方案设计，简化成了消费者只需挑选一件自己喜欢的家具就能自助完成。不管是线上还是线下，消费者一旦喜欢某件家具，就可以借助该技术，完成装修设计，并最终看到整体效果。消费者在购物决策过程中，不再需要考虑尺寸是否合适、怎样搭配才好看等购物难题，极大提升了购物体验，同时让人人都是设计师成为了可能。

对于电商经营者而言，为了更好的呈现其所售卖的商品，需要投入巨大成本进行精美的数字内容制作，比如：精美的商品展示图、能够360度呈现商品全貌的短视频等，有了3D智能设计，电商经营者只需用手机围绕其所售卖的商品拍摄一个短视频，3D智能设计就能完成商品展示图、短视频等多种精美的数字内容的创作，从而极大降低商家成本。

结尾

阿里巴巴淘系技术自研的虚拟AI技术，在日趋激烈的商业竞争环境中，通过数字化赋能提高商家数字化经营能力，用先进的AI技术帮助千百万商家降本增效，积极引领着一场电商场景的新革命，让技术的创新和进步普惠商家。

视频作者：李朝、胡始昌、林超、于磊、崔銘峻、钱虔、张鹏、向辰瀚、贾荣飞、李操、胡晓航、朱莉绢、徐曦、赵磊、汤兴

淘系技术 IJCAI 参赛视频

✿  拓展阅读

作者|淘系技术

编辑|橙子君

出品|阿里巴巴新零售淘系技术