《音视频开发进阶指南:基于android与iOS平台的实现》读书笔记

Posted 每天看一遍,防止恋爱&&堕落

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了《音视频开发进阶指南:基于android与iOS平台的实现》读书笔记相关的知识,希望对你有一定的参考价值。

数字音频

为了将模拟信号数字化,需要经历三个流程,分别是采样、量化和编码

采样

所谓采样就是在时间轴上对信号进行数字化。根据奈奎斯特定理(也称为采样定理),按比声音最高频率高2倍以上的频率对声音进行采样(也称为AD转换),1.1节中提到过,对于高质量的音频信号,其频率范围(人耳能够听到的频率范围)是20Hz~20kHz,所以采样频率一般为44.1kHz,这样就可以保证采样声音达到20kHz也能被数字化,从而使得经过数字化处理之后,人耳听到的声音质量不会被降低。而所谓的44.1kHz就是代表1秒会采样44100次(如下图所示)

量化

量化是指在幅度轴上对信号进行数字化,比如用16比特的二进制信号来表示声音的一个采样,而16比特(一个short)所表示的范围是[-32768,32767],共有65536个可能取值,因此最终模拟的音频信号在幅度上也分为了65536层(如下图所示)

编码

既然每一个量化都是一个采样,那么这么多的采样该如何进行存储呢?这就涉及将要讲解的第三个概念:编码。所谓编码,就是按照一定的格式记录采样和量化后的数字数据,比如顺序存储或压缩存储,等等。

通常所说的音频的裸数据格式就是脉冲编码调制(Pulse Code Modulation, PCM)数据。描述一段PCM数据一般需要以下几个概念:量化格式(sampleFormat)、采样率(sampleRate)、声道数(channel)

以CD的音质为例:量化格式(有的地方描述为位深度)为16比特(2字节),采样率为44100,声道数为2,这些信息就描述了CD的音质

而对于声音格式,还有一个概念用来描述它的大小,称为数据比特率,即1秒时间内的比特数目,它用于衡量音频数据单位时间内的容量大小

音频编码

WAV编码

PCM(脉冲编码调制)是Pulse Code Modulation的缩写。前面已经介绍过PCM大致的工作流程,而WAV编码的一种实现(有多种实现方式,但是都不会进行压缩操作)就是在PCM数据格式的前面加上44字节,分别用来描述PCM的采样率、声道数、数据格式等信息

特点:音质非常好,大量软件都支持。适用场合:多媒体开发的中间文件、保存音乐和音效素材。

MP3编码

MP3具有不错的压缩比,使用LAME编码(MP3编码格式的一种实现)的中高码率的MP3文件,听感上非常接近源WAV文件,当然在不同的应用场景下,应该调整合适的参数以达到最好的效果

特点:音质在128Kbit/s以上表现还不错,压缩比比较高,大量软件和硬件都支持,兼容性好。适用场合:高比特率下对兼容性有要求的音乐欣赏。

AAC编码

AAC是新一代的音频有损压缩技术,它通过一些附加的编码技术(比如PS、SBR等),衍生出了LC-AAC、HE-AAC、HE-AAC v2三种主要的编码格式

特点:在小于128Kbit/s的码率下表现优异,并且多用于视频中的音频编码。适用场合:128Kbit/s以下的音频编码,多用于视频中音频轨的编码

Ogg编码

Ogg是一种非常有潜力的编码,在各种码率下都有比较优秀的表现,尤其是在中低码率场景下。Ogg除了音质好之外,还是完全免费的

特点:可以用比MP3更小的码率实现比MP3更好的音质,高中低码率下均有良好的表现,兼容性不够好,流媒体特性不支持。适用场合:语音聊天的音频消息场景。

数字视频

YUV表示方式

对于视频帧的裸数据表示,其实更多的是YUV数据格式的表示,YUV主要应用于优化彩色视频信号的传输,使其向后兼容老式黑白电视。与RGB视频信号传输相比,它最大的优点在于只需要占用极少的频宽(RGB要求三个独立的视频信号同时传输)

IPB帧

从解码的角度来理解IPB帧

  • I帧自身可以通过视频解压算法解压成一张单独的完整视频画面,所以I帧去掉的是视频帧在空间维度上的冗余信息。
  • P帧需要参考其前面的一个I帧或者P帧来解码成一张完整的视频画面。
  • B帧则需要参考其前一个I帧或者P帧及其后面的一个P帧来生成一张完整的视频画面,所以P帧与B帧去掉的是视频帧在时间维度上的冗余信息。

IDR帧与I帧的理解

H264采用了多帧预测,所以I帧之后的P帧有可能会参考I帧之前的帧,这就使得在随机访问的时候不能以找到I帧作为参考条件,因为即使找到I帧,I帧之后的帧还是有可能解析不出来,而IDR帧就是一种特殊的I帧,即这一帧之后的所有参考帧只会参考到这个IDR帧,而不会再参考前面的帧。在解码器中,一旦收到一个IDR帧,就会立即清理参考帧缓冲区,并将IDR帧作为被参考的帧。

总结

其实对我目前而言,也就第一章和3.3有用了。本书所谓的开发进阶,其实在用ffmpeg涉及并实现了一款播放器,播放的来源则为摄像头和网络推流,可能重要是在实践吧,如果是我自己做一个类似的播放器,我可能会直接github拉一个开源的播放器进来改改直接用。花了几十分钟,补了点基础知识也还行。

以上是关于《音视频开发进阶指南:基于android与iOS平台的实现》读书笔记的主要内容,如果未能解决你的问题,请参考以下文章

《音视频开发进阶指南:基于android与iOS平台的实现》读书笔记

5G时代,如何快速学习音视频?阿里P8亲手整理的Android音视频开发进阶指南

最新Android音视频开发进阶指南,阿里大佬整理,限时分享!

最新Android音视频开发进阶指南,阿里大佬整理,限时分享!

字节大佬写给Android中高级开发的《Android 音视频开发进阶指南》,限时开源分享!!!

最新Android音视频开发进阶指南,助力打破安卓困局