H264的常见概念

Posted 2020-10-31

H264，应该是读者常见的技术术语吧，那h264是什么东西呢？

H.264是视频编码标准。

在术语的拼写上，小程以能理解为准。

本文介绍H264的常见概念。

预警，本文相对枯燥，读者可随时放弃阅读。

（1）H264从哪里来？

小程之前介绍媒体格式的概念时，有提到过国际标准化组织（ISO），现在又是它出场的时候。

H264是国际标准化组织（ISO）与国际电信联盟（ITU）的产物。

但ISO是大boss，给的是造福人类的方向，真正做这件事的是他的下属MPEG，MPEG是动态图像专家组。

同样，ITU也有专家组来独领风骚，叫VCEG，即视频编码专家组。

H.264有很多乳名，比如：H.264/AVC、AVC、H.264/MPEG-4 AVC，等等。

（2）H264有什么优势？

h264是ISO与ITU合作的结晶体，而在这之前，这两家都有自己的产品，比如ITU有h261、h263、h263+，而MPEG有MPEG-1、MPEG-2、MPEG-4等。

两家共同的研究成果自然不能比以往的差。

h264优势在于，在同样的画质下，拥有更高的压缩率（也就是更低的码率）。

所以，看视频的同学有福利了，因为这意味着，可以更省流量，并且有更快的传输速度！

（3）H264的设计

（a）vcl与nalu

h264在设计上分不同的部分，涉及到复杂的概念，比如vcl与nal的划分、帧内与帧间预测编码、整数变换、熵编码，等等。

小程这里只介绍一些简单的概念。

h264在设计上，分vcl跟nal两层。

vcl，video coding layer，即视频编码层，负责编码视频，独立于网络环境。
nal，network abstraction layer，即网络抽象层，把vcl提供的数据进行封装，应用于网络传输。

nal层的基本单位叫nalu。

nalu，network abstraction layer unit，网络抽象层单元。

nalu的大致结构是这样的：

RBSP，是原始数据（可能是编码的视频数据，也可能是其它数据），加上用于对齐的“0”比特位。

nalu的头，共8bit：

forbidden_bit(1bit)： 禁止位，用于纠错。
nal_reference_bit(2bit)： 重要程度标识，越大则越重要，0是最不重要的。
nal_unit_type(5bit)：低5位，用于区分nalu的类型。

nalu的类型：

表中的nal_reference_bit标识了重要程度（越大越重要）。

nal_unit_type为1到5时，为切片（slice）的数据，也就是视频编码数据。如果值是5，则可以理解为IDR帧，也就是一个图像序列的第一个I帧。

nalu除了封装切片数据（视频数据），还可以封装其它类型的数据，比如nal_unit_type为7与8时，对应的是序列参数（sps）与图像参数（pps），这两个信息对于解码是必须的。

nalu包含的内容，就是rbsp的内容，rbsp的内容也有这样的分类：

（b）I帧等

然后，小程介绍I帧、P帧之类的概念，这是读者有可能经常遇到的概念。

压缩是为了节省存储容量与传输带宽，体积小而质量又好，是追求的目标。

视频压缩的关键点是去掉冗余。

冗余是什么？你有我也有的（相关的）是冗余，我感觉不到的也是冗余。

h264编码去除冗余有两个方向，一个是帧内预测编码，另一个是帧间预测编码。

帧内预测，关注于一张独立的图的冗余（不考虑与前后图的联系），把这张图的冗余（宏块之间的冗余）去掉。

帧间预测，关注于前后图间的冗余，只保留差别，并依赖于参考帧。

帧间预测编码产生的帧，分为I帧、P帧与B帧。

所有帧参与分组，这个图像的组，也叫图像序列，即GOP。

而GOP很多时候是表示图像组的长度，可以设置。

一个图像序列内的图像是相关紧密的，也就是当更换场景（大变化来了）时就应该另起一个GOP。

MPEG2、h264与HEVC关于GOP的定义是不一样的，所以在讨论GOP时有必要先弄清楚是哪一个标准，这里讲的是h264。

h264的图像序列中，以IDR帧开始，到下一个IDR帧结束，一个图像序列中可以出现多个I帧。

GOP的第一个I帧，叫作IDR帧，区分于其它普通的I帧，所以IDR是I，但I未必是IDR。

IDR出现，意味着历史作废（历史的错不要影响到当前组），不能再依赖之前的图像，而要重新开始编码。

一般来说，连续图像变化小（比如录屏时缓慢滑动屏幕）则GOP值大，而且一个IDR后就可以连续用P或B帧来表示；变化大时（快速滑动屏幕）则GOP值小，可能一个IDR加两三个P帧后就切到下一组序列了，这时编码出来的体积也更大，如果传输的话就会产生带宽峰值。

IDR，叫即时可解码帧。

I帧，即Intra-predicted Frame，帧内预测帧。I帧还有很多同义词，比如关键帧、独立的完整图像、基本帧等。

I帧类似于JPEG的压缩算法。

P帧与B帧，都是帧间预测编码，也就是要依赖于其它帧，它本身只是差异内容（差值与运动矢量）。

P帧，前向预测编码帧。P帧表示的是这一帧与之前的某个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧的差别，生成最终画面。

B帧，双向预测编码帧。B帧依赖于前面的I或P帧，并且依赖于后面的P帧，所以解码B帧时，既要取得之前的缓存画面，也要解码之后的画面，才能叠加出最终的画面。

从压缩率来说，B>P>I，而解码复杂度来说也是这样。一般（I+P）这样的等级用得最多。

I跟P都是会成为参考帧，所以要注意影响，你差则别人也差。

至此，小程把H264一些常见的概念介绍完毕了。

---

总结一下，本文介绍了H264编码标准的一些常见的概念，希望读者对H264有一个概念上的理解或了解。