基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统
Posted BIGBOSSyifi
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统相关的知识,希望对你有一定的参考价值。
基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统
前言
之前做的一个项目——使用Python利用OpenCV图像捕捉,配合强大的Mediapipe库来实现手势,人体动作检测与识别;将识别结果实时同步至Unity中,实现手部,人物模型在Unity中运动身体结构识别
项目地址:
Mediapipe+OpenCV与Unity引擎实现动作捕捉
OpenCV+Mediapipe人物动作捕捉与Unity引擎的结合
但是这个项目的实现利用了OpenCV图像捕捉和Mediapipe库来实现人体动作检测与识别,实现效果和准确度还不错,但是问题在于过于简陋的火柴人无法绑定到模型(模型骨骼)
项目概述
这次增加了模型的绑定,利用Mediapipe这个强大的库可以实现识别面部表情的捕捉和人体结构运动的捕捉,基于以上的特性加入到Unity的人物模型中,实现实时的面部表情和人体运行的捕捉
项目实现效果
2D面部表情实时捕捉
可以更换模型加入绿背应用于不同场景
3D人体动作实时捕捉
3D人体动作实时捕捉视频地址:https://live.csdn.net/v/234978
补充
项目目前问题很多,等待完善后会发布到GitHub
引用
本博客使用的3D模型资源来自Unity—Chan!
3D模型资源来自:
博客中使用到的2D模型资源来自Live2D
以上是关于基于Unity引擎利用OpenCV和MediaPipe的面部表情和人体运动捕捉系统的主要内容,如果未能解决你的问题,请参考以下文章
OpenCV+Mediapipe手势动作捕捉与Unity引擎的结合
OpenCV+Mediapipe人物动作捕捉与Unity引擎的结合