视频基本概念

Posted 2023-03-20

参考技术A 视频码率： kb/s ， 是指视频文件在单位时间内使用的数据流量，也叫码流率。码率越大，说明单位时间内取样率越大， 数据流精度 就越高。

视频帧率 ：fps，通常说一个视频的25帧，指的就是这个视频帧率，即1秒中会显示25帧。帧率越高，给人的视觉就越 流畅 。

视频分辨率 ：分辨率就是我们常说的640x480分辨率、1920x1080分辨率，分辨率影响 视频图像的大小 。

I 帧（ Intra coded frames ） ：I帧不需要参考其他画面而生成,解码时仅靠自己就重构完整图像;

I帧图像采用帧内编码方式;

I帧所占数据的信息量比较大;

I帧图像是周期性出现在图像序列中的，出现频率可由编码器选择;

I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);

I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;

I帧不需要考虑运动矢量;

P 帧（ Predicted frames ） ：根据本帧与相邻的前一帧（I帧或P帧）的不同点来压缩本帧数据，同时利用了空间和时间上的相关性。

P帧属于前向预测的帧间编码。 它需要参考前面最靠近它的 I 帧或 P 帧来解码。

B 帧（ Bi-directional predicted frames ） ：B 帧图像采用双向时间预测

MPEG2、H264、H265 - > MPEG阵营

AVS -> 中国阵营

VP8、VP9 -> Google阵营

DTS （ Decoding Time Stamp ） ：即解码时间戳，这个时间戳的意义在于告诉播放器该在什么时候解码这一帧的数据。

PTS （ Presentation Time Stamp ） ：即显示时间戳，这个时间戳用来告诉播放器该在什么时候显示这一帧的数据。

Audio Master：同步视频到音频

Video Master：同步音频到视频

External Clock Master：同步音频和视频到外部时钟

一般情况下 Audio Master > External Clock Master > Video Master 

视频编解码 基本概念：GOP

前言

产品开发要求添加视频剪辑功能，翻阅有关的文档，查到了GOP(group of pictures)这个概念。

解析

GOP说白了就是两个I帧之间的间隔.比较说GOP为120,如果是720p60的话,那就是2s一次I帧.

? 在视频编码序列中，主要有三种编码帧：I帧、P帧、B帧。

? ● I帧即Intra-coded picture（帧内编码图像帧），不参考其他图像帧，只利用本帧的信息进行编码
? ● P帧即Predictive-codedPicture（预测编码图像帧），利用之前的I帧或P帧，采用运动预测的方式进行帧间预测编码
? ● B帧即Bidirectionallypredicted picture（双向预测编码图像帧)，提供最高的压缩比，它既需要之前的图
像帧(I帧或P帧)，也需要后来的图像帧(P帧)，采用运动预测的方式进行帧间双向预测编码

　　在视频编码序列中，GOP即Group of picture（图像组），指两个I帧之间的距离，Reference（参考周期）指两个P帧之间的距离（如下图3.1）。一个I帧所占用的字节数大于一个P帧，一个P帧所占用的字节数大于一个B帧（如下图3.1所示）。

I、P、B帧示意图

　　所以在码率不变的前提下，GOP值越大，P、B帧的数量会越多，平均每个I、P、B帧所占用的字节数就越多，也就更容易获取较好的图像质量；Reference越大，B帧的数量越多，同理也更容易获得较好的图像质量。

　　需要说明的是，通过提高GOP值来提高图像质量是有限度的，在遇到场景切换的情况时，H.264编码器会自动强制插入一个I帧，此时实际的GOP值被缩短了。另一方面，在一个GOP中，P、B帧是由I帧预测得到的，当I帧的图像质量比较差时，会影响到一个GOP中后续P、B帧的图像质量，直到下一个GOP开始才有可能得以恢复，所以GOP值也不宜设置过大。

　　同时，由于P、B帧的复杂度大于I帧，所以过多的P、B帧会影响编码效率，使编码效率降低。另外，过长的GOP还会影响Seek操作的响应速度，由于P、B帧是由前面的I或P帧预测得到的，所以Seek操作需要直接定位，解码某一个P或B帧时，需要先解码得到本GOP内的I帧及之前的N个预测帧才可以，GOP值越长，需要解码的预测帧就越多，seek响应的时间也越长。

H.264中的I帧，B帧和P帧
在H264中的图像以序列为单位进行组织，一个序列是一段图像编码后的数据流，以I帧开始，到下一个I帧结束。
IDR图像：一个序列的第一个图像叫做IDR图像（立即刷新图像），IDR 图像都是I帧图像。H.264引入IDR图像是为了解码的重同步，当解码器解码到IDR图像时，立即将参考帧队列清空，将已解码的数据全部输出或抛弃，重新查找参数集，开始一个新的序列。这样，如果前一个序列出现重大错误，在这里获得重新同步的机会。IDR图像之后的图像永远不会使用IDR之前的图像数据来解码。
一个序列就是一段内容差别不是很大的图像编码后生成的一串数据流。当运动变化比较少的时候，一个序列可以很长，因为运动变化的少就代表图像画面的内容变动很小，所以就可以编一个I帧，然后一直P帧、B帧了。当运动变化多时，可能一个序列就比较短了，比如就包含一个I帧和3、4个P帧。

三种帧的说明
1、I帧
I帧:帧内编码帧 ，I帧表示关键帧，你可以理解为这一帧画面的完整保留；解码时只需要本帧数据就可以完成（因为包含完整画面）
I帧特点:

• 1)它是一个全帧压缩编码帧。它将全帧图像信息进行JPEG压缩编码及传输;
• 2)解码时仅用I帧的数据就可重构完整图像;
• 3)I帧描述了图像背景和运动主体的详情;
• 4)I帧不需要参考其他画面而生成;
• 5)I帧是P帧和B帧的参考帧(其质量直接影响到同组中以后各帧的质量);
• 6)I帧是帧组GOP的基础帧(第一帧),在一组中只有一个I帧;
• 7)I帧不需要考虑运动矢量;
• 8)I帧所占数据的信息量比较大。

2、P帧
P帧:前向预测编码帧。P帧表示的是这一帧跟之前的一个关键帧（或P帧）的差别，解码时需要用之前缓存的画面叠加上本帧定义的差别，生成最终画面。（也就是差别帧，P帧没有完整画面数据，只有与前一帧的画面差别的数据）
P帧的预测与重构:P帧是以I帧为参考帧,在I帧中找出P帧“某点”的预测值和运动矢量,取预测差值和运动矢量一起传送。在接收端根据运动矢量从I帧中找出P帧“某点”的预测值并与差值相加以得到P帧“某点”样值,从而可得到完整的P帧。
P帧特点:

• 1)P帧是I帧后面相隔1~2帧的编码帧;
• 2)P帧采用运动补偿的方法传送它与前面的I或P帧的差值及运动矢量(预测误差);
• 3)解码时必须将I帧中的预测值与预测误差求和后才能重构完整的P帧图像;
• 4)P帧属于前向预测的帧间编码。它只参考前面最靠近它的I帧或P帧;
• 5)P帧可以是其后面P帧的参考帧,也可以是其前后的B帧的参考帧;
• 6)由于P帧是参考帧,它可能造成解码错误的扩散;
• 7)由于是差值传送,P帧的压缩比较高。

3、B帧
B帧:双向预测内插编码帧。B帧是双向差别帧，也就是B帧记录的是本帧与前后帧的差别（具体比较复杂，有4种情况，但我这样说简单些），换言之，要解码B帧，不仅要取得之前的缓存画面，还要解码之后的画面，通过前后画面的与本帧数据的叠加取得最终的画面。B帧压缩率高，但是解码时CPU会比较累。

B帧的预测与重构
B帧以前面的I或P帧和后面的P帧为参考帧,“找出”B帧“某点”的预测值和两个运动矢量,并取预测差值和运动矢量传送。接收端根据运动矢量在两个参考帧中“找出(算出)”预测值并与差值求和,得到B帧“某点”样值,从而可得到完整的B帧。
B帧特点

• 1)B帧是由前面的I或P帧和后面的P帧来进行预测的;
• 2）B帧传送的是它与前面的I或P帧和后面的P帧之间的预测误差及运动矢量;
• 3）B帧是双向预测编码帧;
• 4）B帧压缩比最高,因为它只反映丙参考帧间运动主体的变化情况,预测比较准确;
• 5）B帧不是参考帧,不会造成解码错误的扩散。
  注:I、B、P各帧是根据压缩算法的需要，是人为定义的,它们都是实实在在的物理帧。一般来说，I帧的压缩率是7（跟JPG差不多），P帧是20，B帧可以达到50。可见使用B帧能节省大量空间，节省出来的空间可以用来保存多一些I帧，这样在相同码率下，可以提供更好的画质。