YUV格式与RGB格式

Posted 2023-04-06 StephenBarrnet

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了YUV格式与RGB格式相关的知识，希望对你有一定的参考价值。

YUV与RGB格式介绍

一、RGB编码格式
二、YUV编码格式
三、RGB与YUV转换公式

一、RGB编码格式

RGB图像具有三个通道 R、G、B，分别对应红、绿、蓝三个分量，由三个分量的值决定颜色；通常，会给RGB图像加一个通道alpha，即透明度，于是共有四个分量共同控制颜色。

一般情况下，RGB 图像中，每个像素点都有红、绿、蓝三个原色，其中每种原色都占用 8 bit，也就是一个字节，那么一个像素点也就占用 24 bit，也就是三个字节。如果是argb格式图像，1个像素点需要32 bit，也就是4个字节。

在图像显示中，一张 1280 * 720 大小的图片，就代表着它有 1280 * 720 个像素点。其中每一个像素点的颜色显示都采用 RGB 编码方法。一张 1280 * 720 大小的图片，就占用 1280 * 720 * 3 / 1024 / 1024 = 2.63 MB 存储空间。

二、YUV编码格式

YUV 相比于 RGB 格式最大的好处是可以做到在保持图像质量降低不明显的前提下，减小文件大小。TUV 格式之所以能够做到，是因为进行了采样操作。

YUV 颜色编码采用的是明亮度和色度来指定像素的颜色。。其中，Y 表示明亮度（Luminance、Luma），而 U 和 V 表示色度（Chrominance、Chroma）。

和 RGB 表示图像类似，每个像素点都包含 Y、U、V 分量。但是它的 Y 和 UV 分量是可以分离的，如果没有 UV 分量一样可以显示完整的图像，只不过是黑白的。

对于 YUV 图像来说，并不是每个像素点都需要包含了 Y、U、V 三个分量，根据不同的采样格式，可以每个 Y 分量都对应自己的 UV 分量，也可以几个 Y 分量共用 UV 分量。

YUV存储格式（分类）：

YUV格式的两大类：平面(plannr) 和 紧凑(packed)。

对于planar的YUV格式，先连续存储所有像素点的Y，紧接着存储所有像素点的U，随是存储所有像素点的V，或者是先v后u
对于packed的YUV格式，每个像素点的Y，U，V是连续交替存储的。比如YUV420P，其中P表示紧凑，YUV420SP其中的SP表示“半紧凑”。

YUV420P:YYYYYYYY UU VV 
YUV420: YUV YUV YUV

packed：Y、U、V 分量穿插着排列，三个分量存在一个 Byte 型数组里；
planar：Y、U、V 分量分别存在三个 Byte 型数组中。

YUV采样方式：

YUV主流的采样方式有三种，YUV4:4:4，YUV4:2:2 ，YVU4:2:0。

YUV 4:4:4 采样：YUV 4:4:4 采样，意味着 Y、U、V 三个分量的采样比例相同，因此在生成的图像里，每个像素的三个分量信息完整，都是 8 bit，也就是一个字节。

如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

举个例子：
假如图像像素为：[Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]
那么采样的码流为：Y0 U0 V0 Y1 U1 V1 Y2 U2 V2 Y3 U3 V3
最后映射出的像素点依旧为 [Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]

可以看到这种采样方式的图像和 RGB 颜色模型的图像大小是一样，并没有达到节省带宽的目的，当将 RGB 图像转换为 YUV 图像时，也是先转换为 YUV 4:4:4 采样的图像。

YUV4:2:2采样：YUV 4:2:2 采样，意味着 UV 分量是 Y 分量采样的一半，Y 分量和 UV 分量按照 2 : 1 的比例采样。如果水平方向有 10 个像素点，那么采样了 10 个 Y 分量，而只采样了 5 个 UV 分量。

如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

举个例子：
假如图像像素为：[Y0 U0 V0]、[Y1 U1 V1]、[Y2 U2 V2]、[Y3 U3 V3]
那么采样的码流为：Y0 U0 Y1 V1 Y2 U2 Y3 V3
其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一个采集一个。
最后映射出的像素点为 [Y0 U0 V1]、[Y1 U0 V1]、[Y2 U2 V3]、[Y3 U2 V3]

采样的码流映射为像素点，还是要满足每个像素点有 Y、U、V 三个分量。但是可以看到，第一和第二像素点公用了 U0、V1 分量，第三和第四个像素点公用了 U2、V3 分量，这样就节省了图像空间。

一张 1280 * 720 大小的图片，在 YUV 4:2:2 采样时的大小为：

（1280 * 720 * 8 + 1280 * 720 * 0.5 * 8 * 2）/ 8 / 1024 / 1024 = 1.76 MB

可以看到 YUV 4:2:2 采样的图像比 RGB 模型图像节省了三分之一的存储空间，在传输时占用的带宽也会随之减少。

YUV 4:2:0 采样：YUV 4:2:0 采样，并不是指只采样 U 分量而不采样 V 分量。而是指，在每一行扫描时，只扫描一种色度分量（U 或者 V），和 Y 分量按照 2 : 1 的方式采样。比如，第一行扫描时，YU 按照 2 : 1 的方式采样，那么第二行扫描时，YV 分量按照 2:1 的方式采样。对于每个色度分量来说，它的水平方向和竖直方向的采样和 Y 分量相比都是 2:1 。

如下图所示：

其中，Y 分量用叉表示，UV 分量用圆圈表示。

假设第一行扫描了 U 分量，第二行扫描了 V 分量，那么需要扫描两行才能够组成完整的 UV 分量。

举个例子：
假设图像像素为：
[Y0 U0 V0]、[Y1 U1 V1]、 [Y2 U2 V2]、 [Y3 U3 V3]
[Y5 U5 V5]、[Y6 U6 V6]、 [Y7 U7 V7] 、[Y8 U8 V8]
那么采样的码流为：Y0 U0 Y1 Y2 U2 Y3 Y5 V5 Y6 Y7 V7 Y8
其中，每采样过一个像素点，都会采样其 Y 分量，而 U、V 分量就会间隔一行按照 2 : 1 进行采样。
最后映射出的像素点为：
[Y0 U0 V5]、[Y1 U0 V5]、[Y2 U2 V7]、[Y3 U2 V7]
[Y5 U0 V5]、[Y6 U0 V5]、[Y7 U2 V7]、[Y8 U2 V7]

从映射出的像素点中可以看到，四个 Y 分量是共用了一套 UV 分量，而且是按照 2*2 的小方格的形式分布的，相比 YUV 4:2:2 采样中两个 Y 分量共用一套 UV 分量，这样更能够节省空间。

一张 1280 * 720 大小的图片，在 YUV 4:2:0 采样时的大小为：

（1280 * 720 * 8 + 1280 * 720 * 0.25 * 8 * 2）/ 8 / 1024 / 1024 = 1.32 MB

可以看到 YUV 4:2:0 采样的图像比 RGB 模型图像节省了一半的存储空间，因此它也是比较主流的采样方式。

常见的YUV格式

YUV422：YUYV、YVYU、UYVY、VYUY
这四种格式每一种又可以分为 2 类（packed和planar），以 YUYV 为例，一个 6*4 的图像的存储方式如下：

	Y Y Y Y Y Y                   
	Y Y Y Y Y Y                  
	Y Y Y Y Y Y                   
	Y Y Y Y Y Y                    
	U U U U U U                  Y U Y V Y U Y V Y U Y V
	U U U U U U                  Y U Y V Y U Y V Y U Y V
    V V V V V V                  Y U Y V Y U Y V Y U Y V
	V V V V V V                  Y U Y V Y U Y V Y U Y V
	- Planar -                          - Packed -

- YUV420：I420、YV12、NV12、NV21
YUV420p: I420、YV12
YUV420sp: NV12、NV21

同样，对于一个6*4的图像，这四种像素格式的存储方式如下：

	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y      Y Y Y Y Y Y
	U U U U U U      V V V V V V      U V U V U V      V U V U V U
	V V V V V V      U U U U U U      U V U V U V      V U V U V U
     - I420 -          - YV12 -         - NV12 -         - NV21 -

I420、YV12 三个分量均为平面格式，即分别存在三个 Byte 型数组中；
NV12、NV21 的存储格式为 Y 平面，UV 打包，即 Y 信息存储在一个数组中，UV 信息存储在一个矩阵中。

三、RGB与YUV转换公式

YUV像素格式来源于RGB像素格式，通过公式运算，YUV三分量可以还原出RGB，YUV转RGB的公式如下：

R = Y + 1.403V
G = Y - 0.344U - 0.714V
B = Y + 1.770U

一般，将RGB和YUV的范围均限制在[0,255]间，则有如下转换公式：

R = Y + 1.403(V - 128)
G = Y - 0.344(U - 128) - 0.714(V - 128)
B = Y + 1.770(U - 128)

References：
常用图像像素格式 NV12、NV2、I420、YV12、YUYV
一文读懂 YUV 的采样与格式

RGB与YUV转换以及存储格式

RGB与YUV

色彩空间（Color Space）[1]：is a specific organization of colors. In combination with physical device profiling, it allows for reproducible representations of color, in both analog and digital representations. A color space may be arbitrary, with particular colors assigned to a set of physical color swatches and corresponding assigned color names or numbers such as with the Pantone collection, or structured mathematically as with the NCS System, Adobe RGB and sRGB.

色彩模型（Color Model）[1]：is an abstract mathematical model describing the way colors can be represented as tuples of numbers (e.g. triples in RGB or quadruples in CMYK); however, a color model with no associated mapping function to an absolute color space is a more or less arbitrary color system with no connection to any globally understood system of color interpretation. Adding a specific mapping function between a color model and a reference color space establishes within the reference color space a definite "footprint", known as a gamut, and for a given color model this defines a color space.

不同色彩空间的比较

定义色彩空间时，通常使用 CIELAB 或者 CIEXYZ 色彩空间作为参考标准。这两个色彩空间在设计时便要求包含普通人眼可见的所有颜色。

由于“色彩空间”有着固定的色彩模型和映射函数组合，非正式场合下，这一词汇也被用来指代色彩模型。这样的用法严格意义上是错误的。

1.RGB

RGB色彩空间中的一种颜色是由红、绿、蓝光构成。由R、G、B三个分量组成。RGB颜色分量是跟设备相关的，不论是采集还是显示。在摄像头采集中，每个像素的颜色分量不仅取决于场景的颜色和光照，还取决于测量红、绿蓝分量的滤波器的光谱相应。在屏幕显示中，实际显示出来的颜色取决于显示器中红、绿、蓝光源的光谱。（所以，根据所使用的波长不同，可以有许多不同的RGB色彩空间。）

标准的RGB是24bit的，即每个分量8bit。考虑到带宽限制，也有16bit的RGB，R和B用5bit表示，G用6bit表示（因为人眼对绿色更敏感）。从16bit转到24bitRGB，不是添加0，而是添加2位（G）或3位（R、B）最高有效位。

为了克服RGB 的设备依赖性，人们又定义了一种不依赖上设备的sRGB，添加了光强与颜色分量数值之间的分线性γ映射。从RGB转换到sRGB，就是在色彩向量上乘以一个设备相关的红、绿、蓝光谱特性的3x3矩阵。这个变换由标定决定。

常见的RGB格式有RGB888，RGB565，RGB555，RGB24，RGB32（每个分量8比特，剩余8位空着），ARGB32（每个分量8比特，Alpha通道值8bit）等。

RGB的存储格式通常为BGRBGRBGR的顺序。

Bitmap就是在RGB像素数据上加上数据头形成的文件格式。

2. YUV

YUV is a color encoding system typically used as part of a color image pipeline. It encodes a color image or video taking human perception into account, allowing reduced bandwidth for chrominance components, thereby typically enabling transmission errors or compression artifacts to be more efficiently masked by the human perception than using a "direct" RGB-representation.[2]

Y′UV was invented when engineers wanted color television in a black-and-white infrastructure. They needed a signal transmission method that was compatible with black-and-white (B&W) TV while being able to add color. The luma component already existed as the black and white signal; they added the UV signal to this as a solution.

YUV是被欧洲电视系统所采用的一种颜色编码方法(属于PAL，Phase Alternation Line)。（YIQ用于NTSC彩色电视制式，YUV用于PAL制和SECAM彩色电视制式，而YCrCb用于计算机用的显示器。）

Y代表亮度（Luma，Luminance），UV代表色度（Chroma，Chrominance）。

YUV完全由RGB推到而来，亮度分量Y是RGB分量的组合，颜色分量由差分B-Y，R-Y提供。

二者的转化公式如下：

ITU-R BT.601定义了如下变量：

归一化之后的RGB（linear RGB, not gamma corrected RGB or sRGB）转换到YUV可以表示为：

此时Y、U、V的范围分别是[0, 1]， [−Umax, Umax]，[−Vmax, Vmax]。

YIQ将（U，V）旋转了33度，优点是减少了电视广播需要的带宽（因为与I分量相比人类对Q分量比较不敏感），缺点是需要9个乘法而不是上式中的5个。

严格来说，YUV是一种模拟表示，相应的数字表示为YCbCr。

YCrCb颜色空是由YUV颜色空间派生的一种颜色空间。YCbCr是在世界数字组织视频标准研制过程中作为ITU-R BT.601建议的一部分，其实是YUV经过缩放和偏移的翻版。YCrCb中的Y与YUV中的Y含义一致，Cb、Cr同样都指色彩，只是在表示方法上不同。在YUV家族中，YCbCr是在计算机系统中应用最多的成员，其应用领域很广泛，JPEG、MPEG均采用此格式。一般人们所讲的YUV大多是指YCbCr。

YCbCr的两种常用格式[3]：

1）ITU-R BT.601 conversion