画中画 视频合成

Posted 2021-01-08 swing07

原文说转 没有具体的转链接 我转备用。 具体验证还未完成。

转： https://blog.csdn.net/zwz1984/article/details/50403150

YUV图像合成原理

 

引言：在视频监控中最常用的就是图像拼接和字符叠加，25FPS的视频流，如果每隔40MS就从各个通道中取一幅图像来合成，则可以看到一个实时的合成视频。合成的过程也就是原始图像的拼接、缩放的过程，本文主要阐述UV分开存储的YUV420图像拼接的过程,实现下图的效果。

 

一、原图图像格式

1、图像常用的格式有两种RGB和YUV

(1)YUV是被欧洲电视系统所采用的一种颜色编码方法（属于PAL），是PAL和SECAM模拟彩色电视制式采用的颜色空间。在现代彩色电视系统中，通常采用三管彩色摄影机或彩色CCD摄影机进行取像，然后把取得的彩色图像信号经分色、分别放大校正后得到RGB，再经过矩阵变换电路得到亮度信号Y和两个色差信号R－Y（即U）、B－Y（即V），最后发送端将亮度和色差三个信号分别进行编码，用同一信道发送出去。这种色彩的表示方法就是所谓的YUV色彩空间表示。采用YUV色彩空间的重要性是它的亮度信号Y和色度信号U、V是分离的。

(2)RGB色彩模式是工业界的一种颜色标准，是通过对红(R)、绿(G)、蓝(B)三个颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色的，RGB即是代表红、绿、蓝三个通道的颜色，这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜色系统之一。

2、两者在存储上的区别

(1)YUV按照内存消耗量总体上分为YUV420、YUV422两种

YUV420-----其Y:U:V或者Y:UV或者Y:V:U的总量为4:2:0

YUV422-----其Y:U:V比例为4:2:2

(2)RGB内存比例为1:1:1

 

则可以看出 显示一个像素点 需要的内存字节数 

YUV420=(4+2+0)/4=3/2BYTE 

YUV422=(4+2+2)/4=2 BYTE

RGB=(1+1+1)/1=3 BYTE

现在有一副图像,宽W高H,那么显示一副图像所需内存

YUV420=W*H*3/2 BYTE

YUV422=W*H*2 BYTE

RGB=W*H*3 BYTE

3、YUV数据格式YUV420-UV分开存储

X代表Y分量 0代表U/V分量 420的常规打包格式如下：

也就是说在水平方向和锤子4个像素点Y分量公用一组U/V分量

在内存结构上U/V分量水平和垂直分量均为1/2 U=w/2*h/2  V=w/2*h/2

用表格数据得出来就是

二、图像合成过程

合成前的图像和需要合成到的目的图像如下图所示

需要进行采样缩放、贴图后就能实现图像合成

1、采样

这里不做详细介绍 只看采样后效果

2、贴图

贴图原理-采样后图像的Y分量直接memcpy到合成图像的对应区域，Y/V分量则需要注意下

U/V水平和垂直均1/2采样

隔行拷贝，每次拷贝采样后w/2长度。由于合成图像的U/V数据已经隔行-存储的时候是连续的，所以UV拷贝的时候连续拷贝采样后长度/2然后进入合成图像下一行的U/V然后再拷贝，拷贝的高度为采样后图像高度h/2

上代码

 

1.  
   //图像类型枚举
2.  
   typedef enum IMAGE_TYPE
3.  
   {
4.  
   IMAGE_YUV420,
5.  
   IMAGE_YUV422
6.  
   };
7.  
    
8.  
   //YUV图像结构体
9.  
   typedef struct YUV_IMAGE
10.  
    {
11.  
    YUV_IMAGE(){ y = NULL; u = NULL; v = NULL; w = 0; h = 0; }
12.  
    ~YUV_IMAGE(){ y = NULL; u = NULL; v = NULL; w = 0; h = 0; }
13.  
    UCHAR *y;
14.  
    UCHAR *u;
15.  
    UCHAR *v;
16.  
    UINT w;
17.  
    UINT h;
18.  
    IMAGE_TYPE t;
19.  
    };

 

1.  
   /*从各个通道获取图像并缩放到合成图像上*/
2.  
   BOOL CDigitalCourt::GetMergeImg()
3.  
   {
4.  
   DWORD dwTimeBegin = GetTickCount();
5.  
   BOOL bRet = FALSE;
6.  
   YUV_IMAGE *pImg = NULL;
7.  
    
8.  
   for (int i = 0; i < MAX_CHANNEL_CNT; i++)
9.  
   {
10.  
    if (m_pChannel[i])
11.  
    {
12.  
    //将YUV图像进行拷贝
13.  
    if (m_pChannel[i]->GetYUVImage(&pImg))
14.  
    {
15.  
    //将拷贝后的YUV图像缩放到合成图像上
16.  
    MergeImage(pImg, &m_MergeImg, i);
17.  
     
18.  
    bRet = TRUE;
19.  
    }
20.  
    }
21.  
    }
22.  
    //memcpy(m_MergeImg.y, src->y, 1920 * 1080 * 3 / 2);
23.  
    /*memset(m_MergeImg.y, m_nMergeFrmCnt % 255, m_MergeImg.w*m_MergeImg.h);
24.  
    memset(m_MergeImg.u, m_nMergeFrmCnt % 255 + 100, m_MergeImg.w*m_MergeImg.h / 2);
25.  
    */
26.  
    return bRet;
27.  
    }
28.  
     
29.  
     
30.  
     
31.  
    //创建采样器
32.  
    SwsContext * CDigitalCourt::CreateSws(YUV_IMAGE *src, UINT nOrder, UINT w, UINT h)
33.  
    {
34.  
    if (NULL == src || nOrder >= MAX_CHANNEL_CNT || 0 == w || 0 == h)
35.  
    return NULL;
36.  
     
37.  
    if (NULL == m_pSubSws[nOrder])
38.  
    {
39.  
    m_pSubSws[nOrder] = sws_getContext(src->w,
40.  
    src->h,
41.  
    AV_PIX_FMT_YUV420P,
42.  
    w,
43.  
    h,
44.  
    AV_PIX_FMT_YUV420P,
45.  
    SWS_BICUBIC,
46.  
    NULL,
47.  
    NULL,
48.  
    NULL);
49.  
    if (NULL == m_pSubSws)
50.  
    {
51.  
    LOG(LOG_ERROR, "CDigitalCourt::Create sws failed index=%d,w=%d,h=%d,mergeW=%d,mergeH=%d!", nOrder, src->w, src->h, m_nMergeW, m_nMergeH);
52.  
    return FALSE;
53.  
    }
54.  
    }
55.  
    return m_pSubSws[nOrder];
56.  
    }
57.  
     
58.  
     
59.  
    //图像缩放--从源图像缩放到另外一个图像空间中去
60.  
    void CDigitalCourt::Scale(YUV_IMAGE *src, YUV_IMAGE *dst, SwsContext *pSws)
61.  
    {
62.  
    AVPicture pictsrc;
63.  
    AVPicture pictdst;
64.  
     
65.  
    if (NULL == src || NULL == dst || NULL == pSws) return;
66.  
     
67.  
    pictsrc.data[0] = src->y;
68.  
    pictsrc.data[1] = src->u;
69.  
    pictsrc.data[2] = src->v;
70.  
    pictsrc.linesize[0] = src->w;
71.  
    pictsrc.linesize[1] = src->w / 2;
72.  
    pictsrc.linesize[2] = src->w / 2;
73.  
     
74.  
    pictdst.data[0] = dst->y;
75.  
    pictdst.data[1] = dst->u;
76.  
    pictdst.data[2] = dst->v;
77.  
    pictdst.linesize[0] = dst->w;
78.  
    pictdst.linesize[1] = dst->w / 2;
79.  
    pictdst.linesize[2] = dst->w / 2;
80.  
     
81.  
    sws_scale(pSws, pictsrc.data, pictsrc.linesize, 0, src->h, pictdst.data, pictdst.linesize);
82.  
     
83.  
    }
84.  
     
85.  
    //将图像缩放到合成图像上 nOrder--图像位置0~5 对应于合成图像s1-s6
86.  
    //这里用了两个变量来存储缩放后的图像 m_mainMerge--位置0 m_subMerge--其它位置
87.  
    void CDigitalCourt::MergeImage(YUV_IMAGE *src, YUV_IMAGE *dst, UINT nOrder)
88.  
    {
89.  
     
90.  
    UINT nOffY = 0, nOffx = 0,w=0,h=0;
91.  
    SwsContext *pSws = NULL;
92.  
    YUV_IMAGE *pImgSmall = NULL;
93.  
     
94.  
    if (NULL == src || NULL == dst || nOrder < 0 || nOrder >= MAX_CHANNEL_CNT)
95.  
    {
96.  
    return;
97.  
    }
98.  
    //根据位置找出图像Y偏移量
99.  
    switch (nOrder)
100.  
     {
101.  
     case 0:
102.  
     nOffx = 0;
103.  
     nOffY = 0;
104.  
     w = dst->w * 2 / 3;
105.  
     h = dst->h * 2 / 3;
106.  
     pImgSmall = &m_mainMerge;
107.  
     break;
108.  
     case 1:
109.  
     nOffx = dst->w * 2 / 3;
110.  
     nOffY = 0;
111.  
     w = dst->w / 3;
112.  
     h = dst->h / 3;
113.  
     pImgSmall = &m_subMerge;
114.  
     break;
115.  
     case 2:
116.  
     nOffx = dst->w * 2 / 3;
117.  
     nOffY = dst->h / 3;
118.  
     w = dst->w / 3;
119.  
     h = dst->h / 3;
120.  
     pImgSmall = &m_subMerge;
121.  
     break;
122.  
     case 3:
123.  
     nOffx = dst->w * 2 / 3;
124.  
     nOffY = dst->h * 2 / 3;
125.  
     w = dst->w / 3;
126.  
     h = dst->h / 3;
127.  
     pImgSmall = &m_subMerge;
128.  
     break;
129.  
     case 4:
130.  
     nOffx = dst->w / 3;
131.  
     nOffY = dst->h * 2 / 3;
132.  
     w = dst->w / 3;
133.  
     h = dst->h / 3;
134.  
     pImgSmall = &m_subMerge;
135.  
     break;
136.  
     case 5:
137.  
     nOffx = 0;
138.  
     nOffY = dst->h * 2 / 3;
139.  
     w = dst->w / 3;
140.  
     h = dst->h / 3;
141.  
     pImgSmall = &m_subMerge;
142.  
     break;
143.  
     default:
144.  
     LOG(LOG_ERROR, "CDigitalCourt::MergeImage failed of image order error!");
145.  
     return;
146.  
     }
147.  
     //创建缩放器
148.  
     pSws = CreateSws(src, nOrder, w, h);
149.  
     //缩放
150.  
     Scale(src, pImgSmall, pSws);
151.  
     //图像粘贴
152.  
     MapImage(pImgSmall, &m_MergeImg, nOffx, nOffY);
153.  
     }
154.  
     //图像黏贴
155.  
     void MapImage(YUV_IMAGE *src, YUV_IMAGE *dst, UINT nOffX, UINT nOffY)
156.  
     {
157.  
     if (NULL == src || NULL == dst) return;
158.  
     if (src->w > dst->w || src->h > dst->h) return;
159.  
     if (NULL == src->y || NULL == src->u || NULL == src->v) return;
160.  
     if (NULL == dst->y || NULL == dst->u || NULL == dst->v) return;
161.  
      
162.  
     UINT nOff = 0;
163.  
     for (int i = 0; i < src->h; i++)
164.  
     {
165.  
     nOff = dst->w*(nOffY + i) + nOffX;
166.  
     //逐行拷贝
167.  
     memcpy(dst->y + nOff, src->y + src->w*i, src->w);
168.  
     }
169.  
     UINT nUVOffX = nOffX / 2, nUVOffY = nOffY / 2;
170.  
     UINT nUVSrcW = src->w / 2, nUVSrcH = src->h / 2;
171.  
     UINT nUVDstW = dst->w / 2, nUVDstH = dst->h / 2;
172.  
      
173.  
     for (int j = 0; j < nUVSrcH; j++)
174.  
     {
175.  
     nOff = nUVDstW*(nUVOffY + j) + nUVOffX;
176.  
     memcpy(dst->u + nOff, src->u + nUVSrcW*j, nUVSrcW);
177.  
     memcpy(dst->v + nOff, src->v + nUVSrcW*j, nUVSrcW);
178.  
     }
179.  
     }