Unity中BVH骨骼动画驱动的可视化理论与实现

Posted 2023-03-01 风翼冰舟

前言

找了很久使用BVH到unity中驱动骨骼动画的代码，但是都不是特别好用，自己以前写过，原理很简单，这里记录一下。

理论

初始姿态

在BVH或者其它骨骼动画中，一般涉及到三种姿势：A-pose，T-pose，其它姿势。其中A-pos或者T-pos通常是作为骨骼定义的姿势或者第一帧骨骼姿势。

比如在unity中，导入某个模型时，通常为T-pose的姿态，如unity娘模型刚导入的时候：

这个Tpose在CMU提供的BVH骨骼动画数据中，第一帧数据也是T-pose，比如：

但是在Maya中设计角色，或者做服装绑定的时候，有些模型需要保持Apose的姿态，如：

驱动理论

因为使用BVH数据在unity中驱动角色，而unity中的角色大部分是基于Tpose的，因而可以利用Tpose作为中间转换姿态，将BVH中的所有动画帧全部迁移到unity中。

unity动作模型必须有与BVH一致的动作，否则不适用此博客的理论，如果unity角色与BVH角色的一致动作非Tpose，也可以按照博客理论去转换。

整个转换流程如下图所示

为了解释上图，我们使用以下数据为示例：

• BVH数据：CMU动捕数据BVH格式
• Unity数据：Unity-Chan! Model

内置姿态

所谓内置姿态，即模型的所有骨骼旋转量为0，直接可视化其关节位置得到的结果

BVH的内置姿态可通过bvhacker的setT按钮可视化(或者对我比较熟悉的人知道我前面关于动捕的博客有提供可matlab版本的可视化代码)：

unity-chan的内置姿态可视化就需要通过代码将所有的关节旋转量设置为单位四元数，得到所有

变换矩阵T1/T2

这一步在BVH和unity中都涉及到一个变换矩阵，如果内置姿态本来就是Tpose，那么变换矩阵就是单位阵。如果不是，那么也可以直接获取到。

CMU提供的BVH骨骼动画中，第一帧通常就是Tpose，所以直接计算出第一帧每个关节的全局旋转矩阵就是对应的Tpose变换矩阵T1，记住：
$$当前关节全局旋转=父关节全局旋转\times 当前关节局部旋转$$
unity中骨骼动画因为导入以后通常就是T姿势，所以直接获取所有关节最开始的全局旋转矩阵就是对应的Tpose变换矩阵T2

变换矩阵T3

BVH中记录了很多动画数据，这些数据都以欧拉角的形式存储，其中根关节额外多了一个位置信息，按照根关节的坐标信息、关节层级关系、关节相对父关节偏移量(BVH初始姿态)、关节局部旋转量就能推出所有关节的坐标位置：
$$当前关节坐标=父关节坐标+父关节全局旋转\ast 当前关节相对于父关节定义的偏移量$$
简而言之：这个T3就是BVH所记录的所有动画帧的根关节坐标以及各关节的旋转数据。

变换矩阵T4

因为我们是以Tpose为媒介，将BVH动作迁移到unity中，这个T4能够达到这种效果：
$${\text{BVH}}_T\times T4={\text{UNITY}}_T\times T4$$
注意上面的=代表姿势相等，不是关节坐标相等。

怎么找到这个T4呢，非常简单，这样想：先将内置姿态通过T1变换成Tpose，然后再通过T4转换成动画姿态，那么原始BVH记录的全局旋转量就应该等于T4和T2的累计旋转量。
$$T3=T4\times T2$$
所以
$$T4=T3\ast T{2}^{-1}$$

变换矩阵T5

这个就是我们最终需要应用到unity每个关节的旋转数据
$$T5=T4\times T1$$

位置调整

准确来说还有一步是调整人体的位置，因为BVH的人物大小和unity的人物大小不同，所以可以根据某根骨骼的长度计算一下缩放比例，然后对BVH的根关节位置乘以对应缩放比例就是unity人物的对应位置了。

实现

完整代码在github中获取，公众号和CSDN都有写地址。

使用BVHTool这个工程里面读取BVH数据的代码以及对应的数据结构进行后续开发。

核心代码有:

• 获取关节父子关系：

   public Dictionary<string,string> getHierachy()
   
       Dictionary<string, string> hierachy = new Dictionary<string, string>();
       foreach (BVHBone bb in boneList)
       
           foreach (BVHBone bbc in bb.children)
           
               hierachy.Add(bbc.name, bb.name);
           
       
       return hierachy;
   
  

• 欧拉角转四元数(要注意你的bvh数据是不是ZYX记录的，如果不是这个，请自行书写转换代码，但是一定要转成全局旋转量即可)：

  private Quaternion eul2quat(float z, float y, float x)
  
      z = z * Mathf.Deg2Rad;
      y = y * Mathf.Deg2Rad;
      x = x * Mathf.Deg2Rad;
  
      // 动捕数据是ZYX，但是unity是ZXY
      float[] c = new float[3];
      float[] s = new float[3];
      c[0] = Mathf.Cos(x / 2.0f); c[1] = Mathf.Cos(y / 2.0f); c[2] = Mathf.Cos(z / 2.0f);
      s[0] = Mathf.Sin(x / 2.0f); s[1] = Mathf.Sin(y / 2.0f); s[2] = Mathf.Sin(z / 2.0f);
  
      return new Quaternion(
          c[0] * c[1] * s[2] - s[0] * s[1] * c[2],
          c[0] * s[1] * c[2] + s[0] * c[1] * s[2],
          s[0] * c[1] * c[2] - c[0] * s[1] * s[2],
          c[0] * c[1] * c[2] + s[0] * s[1] * s[2]
      );
  
  

• 获取关键帧的全局旋转数据:

  public Dictionary<string,Quaternion> getKeyFrame(int frameIdx)
  
      Dictionary<string, string> hierachy = getHierachy();
      Dictionary<string, Quaternion> boneData = new Dictionary<string, Quaternion>();
      boneData.Add("pos", new Quaternion(
          boneList[0].channels[0].values[frameIdx],
          boneList[0].channels[1].values[frameIdx],
          boneList[0].channels[2].values[frameIdx],0));
  
      boneData.Add(boneList[0].name, eul2quat(
          boneList[0].channels[3].values[frameIdx],
          boneList[0].channels[4].values[frameIdx],
          boneList[0].channels[5].values[frameIdx]));
      foreach (BVHBone bb in boneList)
      
          if (bb.name != boneList[0].name)
          
              Quaternion localrot = eul2quat(bb.channels[3].values[frameIdx],
                                             bb.channels[4].values[frameIdx],
                                             bb.channels[5].values[frameIdx]);
              boneData.Add(bb.name, boneData[hierachy[bb.name]] * localrot);
                          
                  
      return boneData;
  
  

• 获取骨骼定义时候，每个关节相对于父关节的偏移量:

  public Dictionary<string,Vector3> getOffset(float ratio) 
      Dictionary<string, Vector3> offset = new Dictionary<string, Vector3>();
      foreach(BVHBone bb in boneList)
      
          offset.Add(bb.name, new Vector3(bb.offsetX * ratio, bb.offsetY * ratio, bb.offsetZ * ratio));
      
      return offset;
  
  

• 获取BVH的T姿态变换矩阵(如果你的第一帧不是T，内置姿态就是T，那么这个变换矩阵就是单位阵)

  bvhT = bp.getKeyFrame(0);
  

• 根据BVH的Tpose和BVH其它动画帧的旋转量，以及unity的Tpose变换矩阵，求解unity驱动所需的全局旋转：

  if (FirstT)
  
      Transform currBone = anim.GetBoneTransform(bm.humanoid_bone);
      currBone.rotation = (currFrame[bm.bvh_name] * Quaternion.Inverse(bvhT[bm.bvh_name])) * unityT[bm.humanoid_bone];
  
  else
  
      Transform currBone = anim.GetBoneTransform(bm.humanoid_bone);
      currBone.rotation = currFrame[bm.bvh_name] * unityT[bm.humanoid_bone];
  
  

  FirstT代表BVH数据第一帧是Tpose，否则内置姿态为Tpose。在工程中提供了temp.bvh和13_29.bvh分别代表内置T和第一帧T的bvh数据例子。

  代码运行结果：

红色为BVH可视化，unity-chan为驱动结果。

后记

理论超级简单，不过需要注意，BVH全局旋转的计算一定要正确，不同动捕设备定义的旋转轴顺序不同。

完整的unity实现放在微信公众号的简介中描述的github中，有兴趣可以去找找，同时文章也同步到微信公众号中，有疑问或者兴趣欢迎公众号私信。

[外链图片转存中…(img-FEg8MV6D-1610182566145)]