360视频：CMP和ACP投影

Posted 2022-02-12 Dillon2015

CMP投影

立方体投影格式(Cubemap projection format,CMP)是通过将球面内容投影在立方体模型上后将各个面展开，然后拼接为矩形的一种投影方式。

和ERP不同，CMP采用正方体进行投影，内容会投影到6个面上，如图1所示。

图1 CMP投影

6个面编号PX、PY、PZ、NX、NY、NZ，P表示沿坐标轴正方形，N表示沿坐标轴负方向。

表1 CMP face index

Face index	Face label	说明
0	PX	正面，沿x轴正方向
1	NX	背面，沿x轴负方向
2	PY	上面，沿Y轴正方向
3	NY	下面，沿Y轴负方向
4	PZ	右面，沿Z轴正方向
5	NZ	左面，沿Z轴负方向
>5	null

每个面都对应一个uv平面，uv平面是2x2的正方向平面（等于单位球体的直径），u和v的取值[-1,1]。

假定每个面都是AxA的正方形，则对于某个面f上的坐标(m,n)，其对应(u,v)计算方式为：

由(u,v)可按表2求3D坐标(X,Y,Z),

表2 由(f,u,v)计算(X,Y,Z)

f	X	Y	Z
0	1.0	-v	-u
1	-1.0	-v	u
2	u	1.0	v
3	u	-1.0	-v
4	u	-v	1.0
5	-u	-v	-1.0

对于3D到2D的投影变换，给定(X,Y,Z)可以按表3求得(f,u,v)，

表3 由(X,Y,Z)计算(f,u,v)

条件	f	u	v
|X|≥ |Y| and |X| ≥ |Z| and X >0	0	−Z/|X|	−Y/|X|
|X|≥ |Y| and |X| ≥ |Z| and X <0	1	Z/|X|	−Y/|X|
|Y|≥ |X| and |Y| ≥ |Z| and Y >0	2	X/|Y|	Z/|Y|
|Y|≥ |X| and |Y| ≥ |Z| and Y <0	3	X/|Y|	-Z/|Y|
|Z|≥ |X| and |Z| ≥ |X| and Z >0	4	X/|Z|	−Y/|Z|
|Z|≥ |X| and |Z| ≥ |Y| and Z <0	5	-X/|Z|	−Y/|Z|

Frame Packing  

CMP投影到6个面上，但是这6个面要拼成一个矩形2D平面才能编码。360Lib对CMP提供了2种面的拼接方式，分别为3x4和2x3形式，

图2 CMP frame packing

图2.1是原始360图像ERP投影的结果，红色虚线是经度。图2.2是图像按照CMP投影后6个面按3x4拼接的结果，其中有6个灰色的面是无效的，即表1中索引大于5的面，红色虚线是面的边界。图2.2是图像按照CMP投影后6个面按2x3拼接的结果，红色虚线是面的边界。

6个面拼接的时候还可以按照90、180、270度旋转，如图3中面1，2，3均逆时针旋转了270度。

图3 frame packing旋转

CMP是直接透视投影，均匀性仍然较差，由于透视投影过程不改变立体角的大小，这表现在对应于球面上等立体角的两点，投影到立方体上后会出现中心区域密度高而边缘区域密度低的现象。

/********************
face order:
PX: 0
NX: 1
PY: 2
NY: 3
PZ: 4
NZ: 5
********************/
Void TCubeMap::map2DTo3D(SPos& IPosIn, SPos *pSPosOut)

  pSPosOut->faceIdx = IPosIn.faceIdx;
  POSType u, v;
  POSType pu, pv; //positin in the plane of unit sphere;
  u = IPosIn.x + (POSType)(0.5);
  v = IPosIn.y + (POSType)(0.5);
  pu = (POSType)((2.0*u)/m_sVideoInfo.iFaceWidth-1.0);
  pv = (POSType)((2.0*v)/m_sVideoInfo.iFaceHeight-1.0);
  //map 2D plane ((convergent direction) to 3D ;
  switch(IPosIn.faceIdx)
  
  case 0:
    pSPosOut->x = 1.0;
    pSPosOut->y = -pv;
    pSPosOut->z = -pu;
    break;
  case 1:
    pSPosOut->x = -1.0;
    pSPosOut->y = -pv;
    pSPosOut->z = pu;
    break;
  case 2:
    pSPosOut->x = pu;
    pSPosOut->y = 1.0;
    pSPosOut->z = pv;
    break;
  case 3:
    pSPosOut->x = pu;
    pSPosOut->y = -1.0;
    pSPosOut->z = -pv;
    break;
  case 4:
    pSPosOut->x = pu;
    pSPosOut->y = -pv;
    pSPosOut->z = 1.0;
    break;
  case 5:
    pSPosOut->x = -pu;
    pSPosOut->y = -pv;
    pSPosOut->z = -1.0;
    break;
  default:
    assert(!"Error TCubeMap::map2DTo3D()");
    break;
  


Void TCubeMap::map3DTo2D(SPos *pSPosIn, SPos *pSPosOut)

  POSType aX = sfabs(pSPosIn->x);
  POSType aY = sfabs(pSPosIn->y);
  POSType aZ = sfabs(pSPosIn->z);
  POSType pu, pv;
  if(aX >= aY && aX >= aZ)
  
    if(pSPosIn->x > 0)
    
      pSPosOut->faceIdx = 0;
      pu = -pSPosIn->z/aX;
      pv = -pSPosIn->y/aX;
    
    else
    
      pSPosOut->faceIdx = 1;
      pu = pSPosIn->z/aX;
      pv = -pSPosIn->y/aX;
    
  
  else if(aY >= aX && aY >= aZ)
  
    if(pSPosIn->y > 0)
    
      pSPosOut->faceIdx = 2;
      pu = pSPosIn->x/aY;
      pv = pSPosIn->z/aY;
    
    else
    
      pSPosOut->faceIdx = 3;
      pu = pSPosIn->x/aY;
      pv = -pSPosIn->z/aY;
    
  
  else
  
    if(pSPosIn->z > 0)
    
      pSPosOut->faceIdx = 4;
      pu = pSPosIn->x/aZ;
      pv = -pSPosIn->y/aZ;
    
    else
    
      pSPosOut->faceIdx = 5;
      pu = -pSPosIn->x/aZ;
      pv = -pSPosIn->y/aZ;
    
  
  //convert pu, pv to [0, width], [0, height];
  pSPosOut->z = 0;
  pSPosOut->x = (POSType)((pu+1.0)*(m_sVideoInfo.iFaceWidth>>1) + (-0.5));
  pSPosOut->y = (POSType)((pv+1.0)*(m_sVideoInfo.iFaceHeight>>1)+ (-0.5));

ACP投影

ACP(Adjustedcubemap projection format)投影是CMP的改进。

在2D转3D的计算过程中，对公式(1)(2)计算的(u,v)进行改进，

在3D转2D的计算过程中，计算得到的(u,v)再进一步处理，

将公式(3)(4)的变换用f(x)表示，公式(5)(6)的变换用g(x)表示(其中x为u或v)，则f(x)和g(x)变换如下：

EAC和HEC投影

EAC(Equi-angular cubemap projection)和HEC(Hybrid equi-angular cubemap projection)和ACP类似，就是(u,v)的转换函数不同，

EAC的(u,v)计算为：

HEC和EAC类似，对于所有面的u的计算使用公式(7)(8)，对于顶面和底面的v的计算使用公式(7)(8)，不过对于其他4个面的v的正向和逆向变换如下：

感兴趣的请关注微信公众号Video Coding