使用普通摄像头,轻松实现精准动作捕捉能力

Posted HMS Core

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了使用普通摄像头,轻松实现精准动作捕捉能力相关的知识,希望对你有一定的参考价值。

近几年,关于动作捕捉能力的实际应用场景越来越多,比如科幻电影里特效制作,虚拟游戏人物的制作等,这些大多采用了传统的动作捕捉方案。

传统的动作捕捉通常有两种解决方法:光学捕捉和惯性捕捉

光学动作捕捉需要在人体的关键点部位粘贴反射标志,通过多个红外摄像头从不同角度追踪人体身上的光标位置,具有精度高、时延低的优势,缺点是对场地有严格要求,设备穿戴繁琐,价格也十分昂贵。惯性动捕系统是通过陀螺仪、加速度计等惯性传感器来捕获人体关键骨骼的旋转信息,相比光学式动捕穿戴方便,但精度较低,易受地磁干扰。

无论是光学式还是惯性式动捕系统,都需要穿戴专业的动捕设备,同时成本很高。而华为3D建模服务(3D Modeling Kit)最新推出的动作捕捉能力,仅需要RGB摄像头就可以捕获人体关键点的旋转信息,让每个人都可以通过手机来实现动作捕捉。

技术支持

那么,脱离了辅助设备,华为是采用了哪些技术来实现低门槛高精准的动作捕捉能力的呢?

人体检测技术

进行动作捕捉前需要从图像中定位出人体的位置。人体检测技术可以回归出包含人体的边界框,根据边界框切割出对应的区域可以去除冗余的背景,方便后续的姿态估计。

3D人体姿态估计技术

动作捕捉能力最关键的一环,是基于深度学习的单目姿态估计算法可以从RGB图像中估计出人体关键点的3D位置和骨骼的旋转信息,从而可以应用到广泛的实际场景中。

模型加速与压缩技术

动捕算法最终要部署在端侧,由于存储空间和功耗的限制,对于模型的时延和大小要求都非常严格。一方面,需要针对移动设备的CPU设计合适的轻量化网络结构。另一方面对于训练好的float32模型进行参数量化,转化为int8模型,并针对部分算子进行优化,压缩模型大小的同时显著提高推理速度。

应用场景

动作捕捉能力最广泛也最直接的应用是用来驱动虚拟形象,在虚拟直播、游戏和电影制作等场景都有着不少需求。例如在游戏中,利用动作捕捉能力,用户上传一段视频即可捕捉其中的人物动作,产生对应的数据来驱动游戏中的人物。

另外在短视频领域,动作捕捉能力也大有可为。基于模型的动捕算法可以输出人体网格,在此基础上可以添加各种特效。

除此之外,动作捕捉能力还有更多待开发的应用场景和无限的使用价值,华为动作捕捉能力极大降低了各行业的开发使用门槛。

了解更多详情>>

访问华为开发者联盟官网
获取开发指导文档
华为移动服务开源仓库地址:GitHubGitee

关注我们,第一时间了解 HMS Core 最新技术资讯~

以上是关于使用普通摄像头,轻松实现精准动作捕捉能力的主要内容,如果未能解决你的问题,请参考以下文章

静态模型一键动态化,教你如何集成动作捕捉能力

静态模型一键动态化,教你如何集成动作捕捉能力

开源项目VNect使用普通手机摄像头进行动作捕捉,媲美深度摄像头

一个摄像头就能让虚拟人唱跳rap,抖音即可玩

静默活体检测能力,有效规避用户实名认证环节风险

一个普通摄像头就让二次元老婆“活”了过来,网友:求收费