H.264编解码浅析

Posted 2022-02-09 木大白易

声明：本文是阅读《新一代视频压缩标准H.264_AVC》笔记总结

简介

H.264，又称为MPEG-4第10部分，高级视频编码（英语：MPEG-4 Part 10, Advanced Video Coding，缩写为MPEG-4 AVC）是一种面向块，基于运动补偿的视频编码标准。

视频压缩

预测编码

帧内预测

解决空间冗余，因为一帧的图片相邻位置的像素点一般是相似的，突变概率较小。

帧间预测

解决时间冗余，因为相邻帧的图片一般只是个别像素的移动改变。

变换编码

视频信号中包含大量的直流和低频部分，还有少量高频部分。所以将图像进行某种数学变换后，得到变换域的图像。o表示低频，x表示高频，O表示零值，则可用较少的码来完成压缩编码。

数字信号处理

对于输入的模拟信号转成输出的数字信号，需要进行取样，量化，编码三个步骤。

• 取样：将时间轴上连续变化的模拟信号变为离散量的过程。
  一张隔行扫描的帧图像，由两个场组成（所有的奇数行构成顶场，所有的偶数行构成底场）

• 量化：取样后的脉冲信号在时间上是离散的，但是在幅值上（空间）仍然是连续的。将信号幅值从连续量变为离散量的过程。

• 编码：对于量化后的信号用0，1二进制码表示，称之为脉冲编码调制-PCM。

颜色空间

关于yuv和取样格式的分析，可以参考：
移动端视频进阶（二）：YUV数据编码格式的总结

编码参数

• 量化值：一般认为，每个取样值采用8bit表示，即256个灰度级。（但是HDR位深采用10，甚至12来获取更高的图像质量）
• 取样频率：单位时间内从连续信号中提取并组成离散信号的取样个数。

预处理

• 色彩插值：图像传感器一个像素只能给出纯白到纯黑单色的色调值，需要借助色彩滤镜阵列（CFA，Color Filter Array)获取彩色的图像。
• 色彩校正：减小传感器响应的图像与真实场景间的差异
• 伽马校正：显示器的输出光强度与显示器上加载的光束电压呈幂指数关系，这个幂指数被称之为gamma。对于阴极射线管显示器(CRT)，gamma一般取值2.2。伽马校正就是在图像颜色显示在屏幕之前，将像素值做1/γ次幂，这样就将颜色变为线性关系。
• 图像增强：平滑滤波，中值滤波，图像锐化，直方图均衡，白平衡。
  这里说一下白平衡，先了解一下色温，色温就是定量地以开尔文温度表示色彩，色温越高，蓝色成分越多，色温越低，红色成分越多。白平衡就是为了消除图像传感器在不同光线下输出的不平衡，导致图像偏红或者偏蓝的问题。