OpenCV+Mediapipe人物动作捕捉与Unity引擎的结合

Posted 2023-03-31 BIGBOSSyifi

OpenCV+Mediapipe人物动作捕捉与Unity引擎的结合

• 前言
• Demo演示
• 认识Mediapipe
• 项目环境
• 身体动作捕捉部分
• 核心代码
• • 完整代码
  • • Motion.py
    • 运行效果
• Unity 部分
• • 建模
  • Line.cs
  • Action.cs
  • • 最终实现效果

前言

本篇文章将介绍如何使用Python利用OpenCV图像捕捉，配合强大的Mediapipe库来实现人体动作检测与识别；将识别结果实时同步至Unity中，实现人物模型在Unity中运动身体结构识别

Demo演示

Demo展示：https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw


本篇文章所用的技术会整理后开源，后续可以持续关注：
项目地址：https://github.com/BIGBOSS-dedsec/OpenCV-Unity-To-Build-3DPerson

GitHub：https://github.com/BIGBOSS-dedsec

CSDN： https://blog.csdn.net/weixin_50679163?type=edu

同时本篇文章实现的技术参加了稀土掘金2022编程挑战赛-游戏赛道-优秀奖
作品展示：https://hackathon2022.juejin.cn/#/works/detail?unique=WJoYomLPg0JOYs8GazDVrw

认识Mediapipe

项目的实现，核心是强大的Mediapipe ，它是google的一个开源项目：

功能	详细
人脸检测 FaceMesh	从图像/视频中重建出人脸的3D Mesh
人像分离	从图像/视频中把人分离出来
手势跟踪	21个关键点的3D坐标
人体3D识别	33个关键点的3D坐标
物体颜色识别	可以把头发检测出来，并图上颜色

Mediapipe Dev

以上是Mediapipe的几个常用功能 ，这几个功能我们会在后续一一讲解实现
Python安装Mediapipe

pip install mediapipe==0.8.9.1

也可以用 setup.py 安装
https://github.com/google/mediapipe

项目环境

Python 3.7
Mediapipe 0.8.9.1
Numpy 1.21.6
OpenCV-Python 4.5.5.64
OpenCV-contrib-Python 4.5.5.64

实测也支持Python3.8-3.9

身体动作捕捉部分

身体数据文件

这部分是我们通过读取视频中人物计算出每个特征点信息进行数据保存，这些信息很重要，后续在untiy中导入这些动作数据

关于身体特征点

核心代码

摄像头捕捉部分：

import cv2

cap = cv2.VideoCapture(0)       #OpenCV摄像头调用：0=内置摄像头（笔记本）   1=USB摄像头-1  2=USB摄像头-2

while True:
    success, img = cap.read()
    imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)       #cv2图像初始化
    cv2.imshow("HandsImage", img)       #CV2窗体
    cv2.waitKey(1)      #关闭窗体

视频帧率计算

import time

#帧率时间计算
pTime = 0
cTime = 0

while True
cTime = time.time()
    fps = 1 / (cTime - pTime)
    pTime = cTime

    cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3,
                (255, 0, 255), 3)       #FPS的字号，颜色等设置

身体动作捕捉：

while True:
    if bboxInfo:
        lmString = ''
        for lm in lmList:
            lmString += f'lm[1],img.shape[0] - lm[2],lm[3],'
        posList.append(lmString)

完整代码

Motion.py

import cv2
from cvzone.PoseModule import PoseDetector

# 读取cv来源，也可以调用摄像头使用
cap = cv2.VideoCapture('asoul.mp4')

detector = PoseDetector()
posList = []

while True:
    success, img = cap.read()
    img = detector.findPose(img)
    lmList, bboxInfo = detector.findPosition(img)

    if bboxInfo:
        lmString = ''
        for lm in lmList:
            lmString += f'lm[1],img.shape[0] - lm[2],lm[3],'
        posList.append(lmString)
        
    cv2.imshow("Image", img)
    key = cv2.waitKey(1)
    if key == ord('s'):
        with open("MotionFile.txt", 'w') as f:		# 将动作数据保存下来
            f.writelines(["%s\\n" % item for item in posList])

运行效果

Unity 部分

建模

在Unity中，我们需要搭建一个人物的模型，这里需要一个33个Sphere作为身体的特征点和33个Cube作为中间的支架
具体文件目录如下：

Line的编号对应人物模型特征点

Line.cs

这里是每个Line对应cs文件，实现功能：使特征点和Line连接在一起

using System.Collections;
using System.Collections.Generic;
using UnityEngine;

public class LineCode : MonoBehaviour


    LineRenderer lineRenderer;

    public Transform origin;
    public Transform destination;

    void Start()
    
        lineRenderer = GetComponent<LineRenderer>();
        lineRenderer.startWidth = 0.1f;
        lineRenderer.endWidth = 0.1f;
    
// 连接两个点
    void Update()
    
        lineRenderer.SetPosition(0, origin.position);
        lineRenderer.SetPosition(1, destination.position);
    

Action.cs

这里是读取上文识别并保存的人物动作数据，并将每个子数据循环遍历到每个Sphere点，使特征点随着视频中人物动作运动

using System.Collections;
using System.Collections.Generic;
using System.Linq;
using UnityEngine;
using System.Threading;

public class AnimationCode : MonoBehaviour


    public GameObject[] Body;
    List<string> lines;
    int counter = 0;
    
    void Start()
    
    	// 读取MotionFile.txt的动作数据文件
        lines = System.IO.File.ReadLines("Assets/MotionFile.txt").ToList();
    

    void Update()
    
        string[] points = lines[counter].Split(',');
	
	// 循环遍历到每一个Sphere点
        for (int i =0; i<=32;i++)
        
            float x = float.Parse(points[0 + (i * 3)]) / 100;
            float y = float.Parse(points[1 + (i * 3)]) / 100;
            float z = float.Parse(points[2 + (i * 3)]) / 300;
            Body[i].transform.localPosition = new Vector3(x, y, z);
        

        counter += 1;
        if (counter == lines.Count)  counter = 0; 
        Thread.Sleep(30);
    

最终实现效果

这里的视频与Unity运行有延时

Good Luck，Have Fun and Happy Coding！！！

基于Mediapipe与Unity的人体姿态捕捉系统

基于Mediapipe与Unity的人体姿态捕捉系统

• 1. 工程整体介绍
• 2. 基于Mediapipe的人体姿态估计
• • 2.1 环境搭建
  • 2.2 代码片段
  • 2.3 结果展示
  • 2.4 结果分析
  • 2.5 本章总结
• 3. 基于Unity的人体姿态展示
• • 3.1 Unity 人体骨骼动画
  • 3.2 Mediapipe坐标到Unity的映射
• 4. 从Mediapipe到Unity的数据传递
• • 4.1 使用Python发送数据
  • 4.2 使用C#接收数据
• 5. 成果展示
• 6. 后续展望
• 7.联系方式

1. 工程整体介绍

整个工程主要分成三部分：1.基于Mediapipe的人体姿态估计；2.基于Unity的人体姿态展示；3.从Mediapipe到Unity的通讯，即Mediapipe估计的姿态如何实时传递给Unity。

2. 基于Mediapipe的人体姿态估计

姿态估计部分，使用opencv进行人体采集，然后调用Mediapipe对读取的每一帧图像进行姿态估计。

2.1 环境搭建

版本要求：python >= 3.7

 pip install mediapipe
 pip install opencv-python
 pip install opencv-contrib-python

参考官方文档：
链接: https://google.github.io/mediapipe/solutions/pose.

2.2 代码片段

博主假设你已经掌握了最基础的python语法

import cv2
import mediapipe as mp
import numpy as np

def Pose_Images():
    #使用算法包进行姿态估计时设置的参数
    mp_pose = mp.solutions.pose
    with mp_pose.Pose(
        min_detection_confidence=0.5,
        min_tracking_confidence=0.8) as pose:
      #打开摄像头
      cap = cv2.VideoCapture(0)
      while(True):
        #读取摄像头图像
        hx, image = cap.read() 
        if hx is False:
            print('read video error')
            exit(0)
        image.flags.writeable = False
        # Convert the BGR image to RGB before processing.
        # 姿态估计
        results = pose.process(cv2.cvtColor(image, cv2.COLOR_BGR2RGB))
        print(results.pose_landmarks)
        cv2.imshow('image', image)

        if cv2.waitKey(10) & 0xFF == ord('q'):       # 按q退出
          break
      cap.release()


if __name__ == '__main__':
    Pose_Images()

2.3 结果展示

在你的控制台可以看到一个一个点的输出，如下，那么姿态估计就完成了第一步。

landmark 
  x: 0.7439931035041809
  y: 3.0562074184417725
  z: -0.25115278363227844
  visibility: 0.00022187501599546522

landmark 
  x: 0.5690034627914429
  y: 3.0262765884399414
  z: -0.44416818022727966
  visibility: 0.00034665243583731353

......

2.4 结果分析

下面我们来分析一下这些点的坐标到底代表了什么。
每一张图片都会产生一组坐标，每组坐标包含32个坐标点。

每个地标包括以下内容：

• x和y：通过图像宽度和高度分别归一化为[0.0, 1.0]，通俗点说是，真实的x,y坐标，分别除以图像的宽度跟高度。
• z: 代表坐标的深度，臀部中点的深度为原点，数值越小，地标就越靠近摄像机。z的大小使用与x大致相同的比例。
• visibility：一个[0.0, 1.0]的值，表示坐标在图像中可见（存在且不被遮挡）的可能性。

2.5 本章总结

我们通过使用opencv库，打开摄像头采集照片，将照片传递给Mediapipe进行姿态坐标估计，后续我们将坐标放到Unity中进行展示就可以了。

3. 基于Unity的人体姿态展示

博主假设你已经掌握了unity的基础知识。

3.1 Unity 人体骨骼动画

我们可以从Unity商店中或者在此网站https://www.mixamo.com选择任意一个3D的人物模型导入到工程中。

3.2 Mediapipe坐标到Unity的映射

具体转换细节会专门写一篇文件来解释，数据是驱动骨骼运动的。整体的实现参考了开源的解决方案。
参考：
https://github.com/digital-standard/ThreeDPoseTracker
VNectModel.cs 文件实现了从预测坐标到Unity骨骼坐标的转换。

4. 从Mediapipe到Unity的数据传递

姿态预测跟unity的姿态展示毕竟属于不同的进程，对于进程之间的通讯有不同的实现方式。本文选择网络通讯中的UDP通讯，因为UDP通讯具有延迟小的特点，同时我们对于数据的丢失存在一定的容忍性。

4.1 使用Python发送数据

#代码片段示例：
json_data = json.dumps(pose_data)
udp_socket = socket.socket(socket.AF_INET, socket.SOCK_DGRAM)
dest_addr = ('127.0.0.1', 5052)
text = json_data.encode('utf-8')
udp_socket.sendto(text, dest_addr)

4.2 使用C#接收数据

此代码片段借鉴了此博主的文章(如有侵权，联系删除)。
Link

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using System;
using System.Text;
using System.Net;
using System.Net.Sockets;
using System.Threading;

public class UDPRecive : MonoBehaviour

    Thread receiveThread;
    UdpClient client; 
    public int port = 5052;
    public bool startRecieving = true;
    public string data;
    // Start is called before the first frame update
    void Start()
    
        receiveThread = new Thread(
            new ThreadStart(ReceiveData));
        receiveThread.IsBackground = true;
        receiveThread.Start();
        
    

    // Update is called once per frame
    void Update()
    
        
    
    
    private void ReceiveData()
    
        client = new UdpClient(port);
        while (startRecieving)
        
             Debug.Log("startRecieving");
            try
            
                IPEndPoint anyIP = new IPEndPoint(IPAddress.Any, 0);
                byte[] dataByte = client.Receive(ref anyIP);
                data = Encoding.UTF8.GetString(dataByte);
                Debug.Log(data);
            
            catch (Exception err)
            
                print(err.ToString());
            
        
    

5. 成果展示

从姿态预测到3D展示就完成了，那么我们来看一下效果吧。

11月25日

6. 后续展望

后续会根据需求，出一个对全部代码的讲解，可以帮助读者一步步实现自己的工程。
欢迎提出意见或建议。

7.联系方式

欢迎私信加我。