Android音视频开发之音视频基础知识

Posted 2022-12-04 殇神马

一、前言
随着4G、5G网络的普及，音视频的应用越来越广泛，包括火热的短视频、音视频直播、音视频通话等；特别是移动端的音视频应用，所以移动端的音视频的开发需求也会非常大，所以作为一名移动开发者，学习和了解音视频开发也是非常必要的；

二、音视频基础

（1）封装格式：

以我们最常见的视频文件，MP4格式文件为例,它其实就是一个后缀名为.mp4的文件；视频文件实际上是一种封装格式文件，或者说是一个容器文件，其中包含了
图像数据和音频数据；而封装格式就是就是将图像数据和音频数据打包到一起的一种规范;
而封装格式主要有MP4,FLV,AVI,MKV,RMVB,TS等;
（2）视频播放过程

一个本地视频文件播放的流程是：

解封装：
首先对于一个封装格式文件，要先解封装，从封装格式文件中解封装出图像编码数据（如H264编码数据），和音频编码数据(如AAC编码数据);
解码：
对解封装出来的图像编码数据和音频编码数据进行解码，解码出原始的图像数据(如
YUV,RGB等)，解码出原始的音频数据(PCM数据)
音视频同步：
对于解码出来的原始图像数据和原始音频数据，我们需要进行同步，然后交给显卡和声卡播放出来

上面就是一个本地视频文件播放的流程,如果是一个在线视频，那就需要涉及到视频数据的网络传输，也就是涉及到流媒体协议；那在线视频的播放就需要在上面本地视频文件播放的流程之前加一个解协议的步骤；

解协议：
在线视频播放的第一步就是解协议,解协议就是将流媒体协议的数据解析为标准的封装格式数据;流媒体协议主要有：HTTP,RTMP等,这些协议在传输视频数据时，会带一些信令数据，这些信令数据包括对视频的控制（播放，暂停，停止）等，以及对网络状态的描述，解协议的过程或去掉这些信令数据而只保留视频数据，例如RTMP协议传输的数据，经过解协议之后，输出FLV格式的封装数据;

视频播放流程图：

主要的流媒体协议：
流媒体协议就是客户端与服务器之间的音视频流数据的传输通信协议

名称	推出机构	传输层协议	客户端	目前使用领域
RTSP+RTP	IETF	TCP+UDP	VLC, WMP	IPTV
RTMP	Adobe Inc.	TCP	Flash	互联网直播
RTMFP	Adobe Inc.	UDP	Flash	互联网直播
MMS	Microsoft Inc.	TCP/UDP	WMP	互联网直播+点播
HTTP	WWW+IETF	TCP	Flash	互联网点播

主要的视频封装格式：

名称	推出机构	流媒体	支持的视频编码	支持的音频编码	目前使用领域
AVI	Microsoft Inc.	不支持	几乎所有格式	几乎所有格式	BT下载影视
MP4	MPEG	支持	MPEG-2, MPEG-4, H.264, H.263等	AAC, MPEG-1 Layers I, II, III, AC-3等	互联网视频网站
TS	MPEG	支持	MPEG-1, MPEG-2, MPEG-4, H.264	MPEG-1 Layers I, II, III, AAC	IPTV，数字电视
FLV	Adobe Inc.	支持	Sorenson, VP6, H.264	MP3, ADPCM, Linear PCM, AAC等	互联网视频网站
MKV	CoreCodec Inc.	支持	几乎所有格式	几乎所有格式	互联网视频网站
RMVB	Real Networks Inc.	支持	RealVideo 8, 9, 10	AAC, Cook Codec, RealAudio Lossless	BT下载影视

三、视频文件查看操作工具

MediaInfo：可以查看视频文件的详细信息，包括视频文件的封装格式，视频编码格式，视频帧率(fps),音频编码格式,音频采样率等详细信息;

MediaInfo官网地址：https://mediaarea.net/en/MediaInfo

VideoEye：是雷霄骅雷神开发的一款开源实时视频码流分析软件

项目主页

SourceForge：https://sourceforge.net/projects/videoeye/

Github：https://github.com/leixiaohua1020/VideoEye

开源中国：http://git.oschina.net/leixiaohua1020/VideoEye

FFmpeg：使用FFmpeg命令可以对音视频进行各种查看编辑操作，包括查看音视频
详细信息，提取视频中的图像编码数据，原始图像数据，音频编码数据 音频采样数据等；

ffplay： 是使用FFmpeg的一款媒体播放器，我们下载FFmepg源码的时候也会
一并下载ffplay程序，直接使用ffplay命令就可以播放音视频;

FFmpeg官网下载地址：http://www.ffmpeg.org/download.html

文章内容参考雷霄骅大神的专栏文章：
《雷霄骅的专栏》：

http://blog.csdn.net/leixiaohua1020

欢迎扫码订阅公众号，公众号主要分享原创或转载移动开发技术文章，和广大移动开发者一起学习成长!