H264之帧编码——透析（I帧+P帧+B帧编码）原理与流程

Posted 2023-03-20

参考技术A

在H.264压缩标准中I帧、P帧、B帧⽤于表⽰传输的视频画⾯。在视频压缩中，每帧都代表着一幅静止的图像。在实际的视频压缩编码时，会采取各种算法减少数据的容量，其中IPB帧就是最常见的一种算法。

I‑frame (Intra-coded picture): 即完整的一张图片

P‑frame (Predicted picture): 与前面一张图片的区别的区域

B‑frame (Bidirectional predicted picture):与前面以及后面的图片的区别区域

I帧⼜称帧内编码帧，又称全帧压缩编码帧，是⼀种⾃带全部信息的独⽴帧，⽆需参考其他图像便可独⽴进⾏解码，可以简单理解为⼀张静态画⾯。视频序列中的第⼀个帧始终都是I帧，因为它是关键帧。I帧通常是每个GOP（MPEG所使用的一种视频压缩技术）的第一个帧，经过适度地压缩，作为随机访问的参考点，可以当成静态图像。

现在有一段影片如下:

该影片总共是20张图片组成的，每一张完整的图片我们都可以叫做I帧。假如每张JPEG的图片大小为100KB，那么传输两张图片即为100 * 20 = 2000KB

要知道这个还不到几秒的影片就2M了，要是几个小时的那还得了，所以就有了影片压缩的算法

1.它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
2.解码时仅用I帧的数据就可重构完整图像;
3.I帧描述了图像背景和运动主体的详情;
4.I帧不需要参考其他画面而生成;
5.I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
6.I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
7.I帧不需要考虑运动矢量;
8.I帧所占数据的信息量比较大。

P帧⼜称帧间预测编码帧，又称前向预测编码帧，需要参考前⾯的I帧才能进⾏编码。表⽰的是当前帧画⾯与前⼀帧（前⼀帧可能是I帧也可能是P帧）的差别。解码时需要⽤之前缓存的画⾯叠加上本帧定义的差别，⽣成最终画⾯。

与I帧相⽐，P帧通常占⽤更少的数据位，但不⾜是，由于P帧对前⾯的P和I参考帧有着复杂的依耐性，因此对传输错误⾮常敏感。通常将图像序列中前面已经编码帧的时间冗余信息充分去除来压缩传输数据量的编码图像，也称为预测帧。通过观察，我们可以看出，实际上每一帧之间其实只有一部分细微的差别而已，如下图提取了6帧

当传输完第一帧以后，第二帧其实我们只需要传输一部分，然后由另外一端进行图片算法来进行组合

用这种方式，在传输第二帧的时候，还不到原来的1/10，只需要传输第一帧的100KB，后续的都是按照这种方式传输部分，这种只传输部分的图片，就是P帧了。最后整个影片的大小即为100KB + 10KB * 19 = 290 KB，比原来缩小了很多。

1.P帧是I帧后面相隔1~2帧的编码帧;
2.P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
3.解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
4.P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
5.P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
6.由于P帧是参考帧,它可能造成解码错误的扩散;
7.由于是差值传送,P帧的压缩比较高。

B帧⼜称双向预测编码帧，又称双向预测内插编码帧，也就是B帧记录的是本帧与前后帧的差别。也就是说要解码B帧，不仅要取得之前的缓存画⾯，还要解码之后的画⾯，通过前后画⾯的与本帧数据的叠加取得最终的画⾯。B帧压缩率⾼，但是对解码性能要求较⾼。既考虑源图像序列前面的已编码帧，又顾及源图像序列后面的已编码帧之间的时间冗余信息，来压缩传输数据量的编码图像，也称为双向预测帧。B帧其实就是与前后两张图片的区别。如果理解了P帧和I帧，这个就很好理解了。

B帧比P帧更小，更节省空间

假设现在有三张图片，如下图:

在经过编码后，会变成如下:

1.B帧是由前面的I或P帧和后面的P帧来进行预测的;
2.B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
3.B帧是双向预测编码帧;
4.B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;
5.B帧不是参考帧,不会造成解码错误的扩散。

(1) 进行帧内预测，决定所采用的帧内预测模式。
(2) 像素值减去预测值，得到残差。
(3) 对残差进行变换和量化。
(4) 变长编码和算术编码。
(5) 重构图像并滤波，得到的图像作为其它帧的参考帧。

(1) 进行运动估计，计算采用帧间编码模式的率失真函数(节)值。P帧只参考前面的帧，B 帧可参考后面的帧。
(2) 进行帧内预测，选取率失真函数值最小的帧内模式与帧间模式比较，确定采用哪种编码模式。
(3) 计算实际值和预测值的差值。
(4) 对残差进行变换和量化。
(5) 熵编码，如果是帧间编码模式，编码运动矢量

android音视频工程师必备《全套音视频入门到精通手册》

I帧只需考虑本帧；P帧记录的是与前⼀帧的差别；B帧记录的是前⼀帧及后⼀帧的差别,能节约更多的空间,视频⽂件⼩了,但相对来说解码的时候就⽐较⿇烦。因为在解码时,不仅要⽤之前缓存的画⾯,⽽且要知道下⼀个I或者P的画⾯,对于不⽀持B帧解码的播放器容易卡顿。