视频编解码学习之一:理论基础

Posted 伙上伴冰

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了视频编解码学习之一:理论基础相关的知识,希望对你有一定的参考价值。

视频编解码学习之一:理论基础

第1章介绍

1. 为什么要进行视频压缩?

  • 未经压缩的数字视频的数据量巨大
  • 存储困难
    • 一张DVD只能存储几秒钟的未压缩数字视频。
  • 传输困难
    • 1兆的带宽传输一秒的数字电视视频需要大约4分钟。

2. 为什么可以压缩

  • 去除冗余信息
    • 空间冗余:图像相邻像素之间有较强的相关性
    • 时间冗余:视频序列的相邻图像之间内容相似
    • 编码冗余:不同像素值出现的概率不同
    • 视觉冗余:人的视觉系统对某些细节不敏感
    • 知识冗余:规律性的结构可由先验知识和背景知识得到

3. 数据压缩分类

  • 无损压缩(Lossless)
    • 压缩前解压缩后图像完全一致X=X'
    • 压缩比低(2:1~3:1)
    • 例如:Winzip,JPEG-LS
  • 有损压缩(Lossy)
    • 压缩前解压缩后图像不一致X≠X'
    • 压缩比高(10:1~20:1)
    • 利用人的视觉系统的特性
    • 例如:MPEG-2,H.264/AVC,AVS

4. 编解码器

  • 编码器(Encoder)
    • 压缩信号的设备或程序
  • 解码器(Decoder)
    • 解压缩信号的设备或程序
  • 编解码器(Codec)
    • 编解码器对

5. 压缩系统的组成

(1) 编码器中的关键技术

(2) 编解码中的关键技术

6. 编解码器实现

  • 编解码器的实现平台:
    • 超大规模集成电路VLSI
      • ASIC, FPGA
    • 数字信号处理器DSP
    • 软件
  • 编解码器产品:
    • 机顶盒
    • 数字电视
    • 摄像机
    • 监控器

7. 视频编码标准

编码标准作用:

  • 兼容:
    • 不同厂家生产的编码器压缩的码流能够被不同厂家的解码器解码
  • 高效:
    • 标准编解码器可以进行批量生产,节约成本。

主流的视频编码标准:

  • MPEG-2
  • MPEG-4 Simple Profile
  • H.264/AVC
  • AVS
  • VC-1

标准化组织:

  • ITU:International Telecommunications Union
    • VECG:Video Coding Experts Group
  • ISO:International Standards Organization
    • MPEG:Motion Picture Experts Group

8. 视频传输

  • 视频传输:通过传输系统将压缩的视频码流从编码端传输到解码端
  • 传输系统:互联网,地面无线广播,卫星

9. 视频传输面临的问题

  • 传输系统不可靠
    • 带宽限制
    • 信号衰减
    • 噪声干扰
    • 传输延迟
  • 视频传输出现的问题
    • 不能解码出正确的视频
    • 视频播放延迟

10. 视频传输差错控制

  • 差错控制(Error Control)解决视频传输过程中由于数据丢失或延迟导致的问题
  • 差错控制技术:
    • 信道编码差错控制技术
    • 编码器差错恢复
    • 解码器差错隐藏

11. 视频传输的QoS参数

  • 数据包的端到端的延迟
  • 带宽:比特/秒
  • 数据包的流失率
  • 数据包的延迟时间的波动

第2章 数字视频

1.图像与视频

  • 图像:是人对视觉感知的物质再现。
  • 三维自然场景的对象包括:深度,纹理和亮度信息
  • 二维图像:纹理和亮度信息

  • 视频:连续的图像。
  • 视频由多幅图像构成,包含对象的运动信息,又称为运动图像。

2. 数字视频

  • 数字视频:自然场景空间和时间的数字采样表示。
    • 空间采样
      • 解析度(Resolution)
    • 时间采样
      • 帧率:帧/秒

3. 空间采样

  • 二维数字视频图像空间采样

4. 数字视频系统

  • 采集
    • 照相机,摄像机
  • 处理
    • 编解码器,传输设备
  • 显示
    • 显示器

5. 人类视觉系统HVS

  • HVS
    • 眼睛
    • 神经
    • 大脑

  • HVS特点:
    • 对高频信息不敏感
    • 对高对比度更敏感
    • 对亮度信息比色度信息更敏感
    • 对运动的信息更敏感

6. 数字视频系统的设计应该考虑HVS的特点:

  • 丢弃高频信息,只编码低频信息
  • 提高边缘信息的主观质量
  • 降低色度的解析度
  • 对感兴趣区域(Region of Interesting,ROI)进行特殊处理

7. RGB色彩空间

  • 三原色:红(R),绿(G),蓝(B)。
  • 任何颜色都可以通过按一定比例混合三原色产生。
  • RGB色度空间
    • 由RGB三原色组成
    • 广泛用于BMP,TIFF,PPM等
    • 每个色度成分通常用8bit表示[0,255]

8. YUV色彩空间

  • YUV色彩空间:
    • Y:亮度分量
    • UV:两个色度分量
    • YUV更好的反映HVS特点

9. RGB转化到YUV空间

亮度分量Y与三原色有如下关系:

经过大量实验后ITU-R给出了,

主流的编解码标准的压缩对象都是YUV图像

10. YUV图像分量采样

  • YUV图像可以根据HVS的特点,对色度分量下采样,可以降低视频数据量。
  • 根据亮度和色度分量的采样比率,YUV图像通常有以下几种格式:

11. 通用 的YUV图像格式

  • 根据YUV图像的亮度分辨率定义图像格式

12. 帧和场图像

  • 一帧图像包括两场——顶场,底场

13. 逐行与隔行图像

  • 逐行图像:一帧图像的两场在同一时间得到,ttop=tbot。
  • 隔行图像:一帧图像的两场在不同时间得到, ttop≠tbot。

14. 视频质量评价

  • 有损视频压缩使编解码图像不同,需要一种手段来评价解码图像的质量。
  • 质量评价:
    • 客观质量评价
    • 主观质量评价
    • 基于视觉的视频质量客观评价
  • 客观质量评价:通过数学方法测量图像质量评价的方式。
  • 优点:
    • 可量化
    • 测量结果可重复
    • 测量简单
  • 缺点:
    • 不完全符合人的主观感知

15. 客观评价的方法

常用的客观评价方法:

16. 主观评价方法

  • 主观质量评价:用人的主观感知直接测量的方式。
  • 优点:
    • 符合人的主观感知
  • 缺点:
    • 不容易量化
    • 受不确定因素影响,测量结果一般不可重复
    • 测量代价高

常用主观评价方法

17. 基于视觉的视频质量客观评价方法

  • 基于视觉的视频质量客观评价:将人的视觉特性用数学方法描述并用于视频质量评价的方式。
  • 结合了主观质量评价和客观质量评价两方面优点。
  • 常用方法:结构相似度(Structural SIMilarity,SSIM)方法。
  • 将HVS的特征用数学模型表达出来。
  • 未来重要的研究方向

 

第3章 信息论基础

1. 通信系统的组成

  • 信源:产生消息
  • 信道:传输消息
  • 信宿:接收消息

2. 基本概念

  • 通信中对信息的表达分为三个层次:信号,消息,信息。
    • 信号:是信息的物理层表达,可测量,可描述,可显示。如电信号,光信号。
    • 消息:是信息的载体,以文字,语言,图像等人类可以认知的形式表示。
    • 信息:不确定的内容。 

以上是关于视频编解码学习之一:理论基础的主要内容,如果未能解决你的问题,请参考以下文章

音视频开发基础知识——最通俗易懂的视频编解码理论知识

音视频开发基础知识——最通俗易懂的视频编解码理论知识

视频编解码 — 帧内预测

视频编解码的理论和实践2:Ffmpeg视频编解码

Android 音视频编解码 -- 视频编码和H264格式原理讲解

Android 音视频编解码 -- 视频编码和H264格式原理讲解