拜尔模板 bayer pattern

Posted 2021-10-17 bobuddy

Sensor的感光原理是通过一个一个的感光点对光进行采样和量化，但在Sensor中，每一个感光点只能感光RGB中的一种颜色。所以，通常所说的30万像素或130万像素等，指的是有30万或130万个感光点。每一个感光点只能感光一种颜色

Sensor3彩色数字相机需要3个单色sensor获得彩色图像的R，G，B分量，成本较高。单CCD获得彩色图像的方法是在 CCD表面覆盖1个只含红、绿、蓝3色的马赛克滤镜，对其输出信号通过一定的处理算法实现。这个设计理念最初由拜尔提出，所以这种滤镜也被称作拜尔模板 (bayer pattern)。
色彩滤波器的模式如上图所示，由一半的G，1/4的R，1/4的B组成。

Raw data是指原始的数据，单个pixle只能感应一种颜色

 Bayer pattern说的是COLOR FILTER的结构,分为两种：STD Bayer pattern 与Pair pattern，其中STD Bayer pattern的结构是BG/GR的，而Pair Pattern顾名思义是指BGBG/GRGR的结构，即以四行为一个单位，前两行是BG的结构，后两行是GR的结构

Bayer格式是相机内部的原始图片, 一般后缀名为.raw。很多软件都可以查看, 比如PS。我们相机拍照下来存储在存储卡上的.jpeg或其它格式的图片, 都是从.raw格式转化过来的。如下图，为bayer色彩滤波阵列，由一半的G，1/4的R，1/4的B组成。

　　　　　　　　　　　　　　　　　　　　　　

Bayer数据，其一般格式为：
奇数扫描行输出 RGRG……
偶数扫描行输出 GBGB……

　　根据人眼对彩色的响应带宽不高的大面积着色特点，每个像素没有必要同时输出3种颜色。因此，数据采样时，

奇数扫描行的第1，2，3，4，…象素分别采样和输出R，G，R，G，…数据；

偶数扫描行的第1，2，3，4，…象素分别采样和输出G，B，G，B，…数据。

在实际处理时，每个象素的R，G，B信号由象素本身输出的某一种颜色信号和相邻象素输出的其他颜色信号构成。这种采样方式在基本不降低图像质量的同时，可以将采样频率降低60％以上。

 Bayer RGB与RGB Raw的主要区别在于两者输出前经过的处理不同，Bayer RGB从ADC输出，只经过了LENS SHADING，GAMMA等模块处理而后就直接输出，而RGB Raw则经过了整个ISP模块的处理，最终是经过YUV422的数据转化而来的

Raw RGB 每个像素只有一种颜色（R、G、B中的一种）；
RGB 每个像素都有三种颜色，每一个的值在0~255之间；

在手机摄像头的测试过程中，由sensor输出的数据就是Raw data（Raw RGB），经过彩色插值就变成RGB

模组测试时，就要写一个软件，完成数据采集（获得Raw data）－>彩色插值（目的是获得RGB格式，便于图像显示）－>图像显示；

对比前面说到的全色传感器（内置R，G，B三个图像传感器），使用Bayer阵列的传感器数量为使用全色传感器的1/3。

bayer格式介绍
bayer格式图片是伊士曼·柯达公司科学家Bryce Bayer发明的，Bryce Bayer所发明的拜耳阵列被广泛运用数字图像。

Bayer格式是相机内部的原始图片, 一般后缀名为.raw。

历史
sensor技术的发展经历了3个阶段，

从单色相机->三块分光棱镜->Bayer pattern

单色相机中只能感知亮度，而不能感知色度，因此只能生成灰度图像；

采用R/G/B三个滤光片来分别生成R/G/B三个通道，但是数据量太大；

Bayer开发出了bayer pattern后，已经成为了现代sensor的通用做法：每个像素只采集R/G/B中的一种光谱(每个pixel上设置了一个像素级的滤光片）

bayer模式，平衡了成本和色彩信息量的关系。

ISP恢复RGB for each pixel
每个像素只采集R/G/B中的一种光谱(每个pixel上设置了一个像素级的滤光片）, 通过后期的ISP处理来为每一个pixel恢复完整的RGB数据。

彩色滤波阵列（Color Filter Arrays，CFA）

ISP - demosaic
Demosaic的目的，就是在bayer数据基础上，恢复出每个pixel完整的RGB数据。

因为bayer pattern看起来像一个个马赛克，因此称为去马赛克

彩色滤波阵列（Color Filter Arrays，CFA）

ISP通用算法

亮度调节(亮度增强)，

对比度调节，

饱和度调节，

gamma校正，

去噪denoise，

dither，

sharpen(锐化),

color correction（颜色校正),

Auto-exposure control(自动曝光控制),自动对焦(Auto-focus).自动白平衡(AWB)，

AWB的原因：

人眼具有颜色的恒常性，也就是在不同的色温http://baike.baidu.com/view/1086.htm的光照条件下，人眼都能准确的判断物体的颜色。

但是sensor不具有这种特性，在不同的色温的照明下，颜色会失真