RAWRGB和YUV格式

Posted 2023-04-03 菜鸡UP

RAW 

       RAW数据是图像感应器(CMOS or CCD)将捕捉到的光源信号转化为数字信号之后的原始数据，它含有图像原始的颜色信息等等。

• Bayer      

       RAW 数据格式一般采用的是 Bayer 排列方式，sensor上每个像素只采集特定颜色的光的强度，所以sensor的每个像素只能记录R或G或B的信息，所以RAW数据里表示了sensor接受到的各种光的强度。鉴于人眼对绿色波段的色彩比较敏感，所以绿色分量的比重最大，Bayer 中R\\G\\B分量的成分为。

       一般BAYER格式分为GBRG、GRBG、BGGR、RGGB四种模式。因为采用Bayer排列方式的这种RAW图，看起来像打了马赛克一样，所以也经常称其为马赛克(mosaic)图像。比如，RGGB的排列方式如下图。

               

• 4cell

       RAW数据也可以用4 cell结构来表达，但其实4 cell仍然是采用的Bayer结构，只是4 cell对具体像素的排列做了调整，如下图所示，它使用4个颜色相同的像素合成一个像素，其整体上仍然是符合Bayer结构的，4 cell也叫Quad-Bayer

       有了Bayer格式的图之后，为什么还会出现4 cell呢？ 是因为高像素可以带来高分辨率的画质，大像素能够带来暗态高感度低噪声的画质，但是在模组尺寸一定的基础上，高像素和大像素之间会是互相矛盾的，在这样一个背景下，4 cell就出现了，4 cell的出现就兼顾了高像素和大像素这两者的优点

      1. 正常环境拍摄

       在正常拍照的情况下，由于光线充足，此时采用高分辨率输出即可，4 cell结构经过Remosaic算法转换，将这些颜色重新进行排列组合了之后，就变成了前面所说的Bayer结构，图像大小就是实际大小（full size），这样就实现了高像素的拍摄。Remosaic可以分为硬件和软件两类，硬件模式可以通过sensor实时输出Bayer模式的图像，软件模式则需要通过调用专用的库对图像进行调整。

     2. 暗环镜拍摄

       在暗环镜下，把4个相同颜色的小像素作为一个整体来看的话，这个像素会有更大的感光面积，随之会带来更好的感光效果，如下图所示，可以看到，4个小像素合成一个大像素之后会变成经典的拜耳阵列结构。由于每4个像素被合并成1个像素，此时图像的size缩小为原来的1/4。

---

RGB

       根据三基色原理，自然界中的任何一种颜色都可由不同比例的红色、绿色和蓝色组合得到。根据这种原理来表示彩色图像的方法就是RGB彩色空间，即彩色图像的每个pixel都是由一组（R,G,B）数值来表示的，这三个分量别取不同的值，就会呈现出不同的颜色。

        所以RGB图像和前面的Bayer排列方式的RAW图不同，后者的每个pixel只含有某单种颜色的强度，而RGB图一个Pixel包含了3三种颜色的强度。 在camera当中，很多Sensor出来的是采用Bayer排列方式的RAW图，而有些ISP 模块或者算法需要处理的是RGB的图，这时就需要将Bayer排列方式的图转换成RGB了。

  Demosaic  

        前面提过Bayer排列方式的图，看起来就像是mosaic一样，而Demosaic的目的，就是在Bayer数据基础上，恢复出每个pixel完整的RGB数据，得到RGB的图。

    那么具体怎么做Demosaic呢？简单来说，就是通过插值算法，把拜耳阵列中的GRRB分别插值为4个RGB，从而得到一幅看起来正常的图像。

常见的RGB格式

• RGB565 ：占2个字节，分别是R-5bit，G-6bit，B-5bit

• RGB555 ：每个pixel占2个字节，分别是R-5bit，G-5bit，B-5bit，即RGB分量都使用5位(最高位不用)

• RGB888 ：每个pixel占3个字节，分别是R-8bit，G-8bit，B-8bit ，其实这就是RGB24

---

YUV

        YUV也是一种颜色表示模型，它将图像亮度分量和色度分量分开来表示。YUV分为三个分量，Y表示亮度（Luminance或Luma），也就是灰度值；U和V 则表示的是色度（Chrominance或Chroma），它描述了图像的色调以及饱和度，用于指定像素的颜色。，YUV这样表达方式很好地解决了彩色电视机与黑白电视的兼容问题，因为如果只有Y分量，没有UV分量一样可以显示完整的图像，只不过图像是黑白的，再加上UV就是彩色图像了。

      YUV通常用于电视机模拟信号的色彩，而YCbCr 是一种用数字信号的色彩表达方法，它是世界数字组织视频标准研制过程中作为ITU-R BT1601 建议的一部分,  其实是YUV经过缩放和偏移的翻版，也是来源于YUV模型，Y和YUV的Y含义一样，都是指亮度分量，Cb指蓝色色度分量，而Cr指红色色度分量，YCbCr 应用在数字视频方面，视频编码中常提到的YUV444、YUV420都是基于YCbCr颜色空间的下采样方式。现在，一般人们所讲的YUV大多就是指YCbCr，每一个Pixel由一组（Y,U,V）数值来表示。

       另外，通常人眼对亮度会比色彩更加敏感，所以YUV在压缩时，可以适当地多压缩一些U\\V分量，从这一点来说，在保证图像质量降低不明显的前提下，YUV相对RGB更适合存储和传输。

    常见的YUV格式

     YUV的三个分量在存储的时候，通常以它们形成的平面(plane)来区分

• NV21

       NV21是一种2 plane的YUV格式，分为Y plane和UV plane，其中4个Y分量对应到同一组UV分量，如下图所示。所以可见对于一幅大小的NV21 format图像，会占据个字节大小的空间。

• NV12

       NV12和NV21相比，差别只在于UVpalne里，两者UV的交替顺序是反的，NV12是VU交替。其余的和NV21是一样的，也是4个Y分量对应同一组UV分量；大小的图像，占据个字节大小的空间。

 

• YV12

       YV12是3 plane的YUV格式，Y\\U\\V各自一个plane，如下图所示。所以对于一幅大小的YV12 format图像，也是占据​​​​​​​个字节大小的空间。

 

RGB与YUV之间的转换

          在图像处理过程中，经常会遇到YCbCr与RGB之间的转换，RGB转换成YCbCr的转换公式可以简单表达如下：

   

        同样，YCbCr转换成RGB，也可以通过一个转换矩阵来转换。

       这个公式里面所使用的转换矩阵，不同的ColorSpace是不相同的，目前比较常见的colorSpace有BT601、BT709和BT2020，它们对应的矩阵是长什么样子的，这个网上也有很多的介绍，比如：MATLAB：RGB转BT601、BT709协议中各种YUV格式的转换函数_llljjlj的博客-CSDN博客。

       有时，YCbCr转换RGB，和RGB转换YCbCr之间的转换矩阵由于没有成对的匹配上，导致了效果异常，所以要注意相互转换时所使用的矩阵要匹配。

摄像头相关术语

1. 常见图像格式

        摄像头的数据格式通常有RAWRGB、YUV两种。YUV常见的有三种即YUV444，YUV422和YUV420。ADAS通常对色彩考虑不多，YUV420足够，除车载外一般多采用YUV422。

1.1RGB格式

        传统的红绿蓝格式，比如RGB565，RGB888，其16-bit数据格式为5-bit R + 6-bit G + 5-bit B，G多一位，原因是人眼对绿色比较敏感。

1.2YUV格式

        luma (Y) + chroma (UV) 格式。YUV是指亮度参量和色度参量分开表示的像素格式，而这样分开的好处就是不但可以避免相互干扰，还可以降低色度的采样率而不会对图像质量影响太大。YUV是一个比较笼统地说法，针对它的具体排列方式，可以分为很多种具体的格式。

        色度(UV)定义了颜色的两个方面─色调与饱和度，分别用CB和CR表示。其中，Cr反映了RGB输入信号红色部分与RGB信号亮度值之间的差异，而Cb反映的是RGB输入信号蓝色部分与RGB信号亮度值之间的差异。主要的采样格式有YCbCr 4:2:0、YCbCr 4:2:2、YCbCr 4:1:1和 YCbCr 4:4:4。

1.3RAW data格式

        RAW图像就是CMOS或者CCD图像感应器将捕捉到的光源信号转化为数字信号的原始数据。RAW文件是一种记录了数码相机传感器的原始信息，同时记录了由相机拍摄所产生的一些元数据（Metadata，如ISO的设置、快门速度、光圈值、白平衡等）的文件。

        RAW是未经处理、也未经压缩的格式，可以把RAW概念化为“原始图像编码数据”或更形象的称为“数字底片”。sensor的每一像素对应一个彩色滤光片，滤光片按Bayer pattern分布。将每一个像素的数据直接输出，即RAW RGB data。

2. 常见的摄像头传感器类型

        主要有两种：一种是CCD传感器（Chagre Couled Device），即电荷耦合器，另一种是CMOS传感器（Complementary Metal-Oxide Semiconductor）即互补性金属氧化物半导体。

        CCD的优势在于成像质量好，但是制造工艺复杂，成本高昂，且耗电高，在相同分辨率下，CMOS价格比CCD便宜，但图像质量相比CCD来说要低一些。CMOS影像传感器相对CCD具有耗电低的优势，加上随着工艺技术的进步，CMOS的画质水平也不断地在提高，所以目前市面上的手机摄像头都采用CMOS传感器。

3. 相关技术指标

3.1图像解析度/分辨率(Resolution)

SXGA(1280 x1024)又称130万像素
XGA(1024 x768)又称80万像素
SVGA(800 x600)又称50万像素
VGA(640x480)又称30万像素(35万是指648X488)
CIF(352x288) 又称10万像素
SIF/QVGA(320x240)
QCIF(176x144)
QSIF/QQVGA(160x120)

3.2彩色深度(色彩位数)

256色灰阶，有256种灰色（包括黑白）。
15或16位彩色（高彩色）：65,536种颜色。
24位彩色（真彩色）：每种原色都有256个层次，它们的组合便有256*256*256种颜色。
32位彩色：除了24位彩色的颜色外，额外的8位是储存重叠图层的图形资料(alpha频道)。

3.3光学变焦和数码变焦

        光学变焦： 通过镜头的调整，拉近拉远所要拍摄的对象，保持像素不变和画质基本不变，却可以拍到自己理想的物像。

        数码变焦：其实没有什么变焦，只是从原图片中截取出来放大，你从液晶屏幕上看到变大了，实际上画质并没有本质提高，而像素比你相机能拍摄的最大像素降低了， 画质上说基本是鸡肋吧，但是可以提供一些方便。

3.4图像压缩方式

JPEG/M-JPEG
H.261/H.263
MPEG
H.264 

3.5图像噪音

        指的是图像中的杂点干扰，表现为图像中有固定的彩色杂点。

3.6自动白平衡处理技术(auto White Balance)

        简单来说就是：摄像机对白色物体的还原。相关概念：色温。

3.7视角

        与人的眼睛成像是相成原理，简单说就是成像范围。

3.8自动对焦

        自动对焦可以分成两大类：一类是基于镜头与被拍摄目标之间距离测量的测距自动对焦，另一类是基于对焦屏上成像清晰的聚焦检测自动对焦(清晰度算法)。

        注：变焦就是把远处的物体拉近。对焦是让图像清晰。

3.9自动曝光和Gamma

        就是光圈和快门的组合。光圈，快门速度，ISO。Gamma即人眼对亮度的响应曲线。

4. 逐行扫描和隔行扫描

        隔行扫描（Interlaced）和逐行扫描（Progressive）都是在显示设备表示运动图像的方法，隔行扫描方式是每一帧被分割为两场画面交替显示，逐行扫描方式是将每帧的所有画面同时显示。

        隔行扫描就是每一帧被分割为两场，每一场包含了一帧中所有的奇数扫描行或者偶数扫描行，通常是先扫描奇数行得到第一场，然后扫描偶数行得到第二场。由于视觉暂留效应，人眼将会看到平滑的运动而不是闪动的半帧半帧的图像。

        隔行扫描的时候，由于只有第一场和第二场都显示出来的时候才能显示完整画面，如果第二场和第三场显示的画面不同，就会同时出现不同的画面，就会出现交错画面的情况，所以会出现模糊和闪烁的情况。

        逐行扫描每次显示整个扫描帧，如果逐行扫描的帧率和隔行扫描的场率相同，人眼将看到比隔行扫描更平滑的图像，相对于隔行扫描来说闪烁较小。但在扫描频率只有30hz的情况下，电子枪逐行扫描有点“来不及”，传统技术使得电视机来不及一次将五六百行的内容都刷新一遍，电子枪扫描到屏幕下面时，上面的内容已经衰减了，闪烁严重，还不如隔行的效果。