FLV文件(H264 + AAC)格式超详细分析

Posted 2022-10-10 贺二公子

原文地址：http://www.360doc.com/content/16/1013/17/474846_598171645.shtml

---

最近自己动手将H264视频流和AAC音频流合成flv文件，但是没有采用开源的ffmpeg的api来处理音视频流。方法就是模仿ffmpeg中libavformat/flvenc.c 文件写代码来完成音视频的flv格式封装。在这个封装过程中，需要非常清楚flv文件格式。网上有关flv文件格式的资料非常多，不过大部分资料是互相转载或者缺乏足够详细的信息（例如：AVDecoderConfigurationRecord和 AudiospecificConfig的生成）。
因此我就以ffmpeg中libavformat/flvenc.c为基础分析flv文件的构成，详细分析flv文件中每个字节的含义。以下每个方格代表一个字节。其中的数字都是16进制表示（省略0x），格中的字符也可以用相应的16进制数字替代，用字符表示有时候更为直观。假定flv文件同时含有视频和音频。

接下来就是Metadata的具体数据，由两个AMF包组成。

Metadata元素个数暂定为12个 = 音频5个 + 视频5个 + 2个(duration和filesize)。 后面还可能会加入其它元素，因此会返回来修改此值。metadata元素的顺序不固定，此处采用ffmpeg中的顺序。
第二个AMF包中各数组元素封装形式为：前两个字节是元素名称的长度；后面跟着长度为Ｌ的字符串；第L+3个字节表示元素值的类型；后面跟着是对应值，占用的字节数取决于值的类型。

以下的（tag->key，tag->value）不一定在所有flv文件中出现，依据不同版本有所不同。

Remark：以上将flv官方文档的metadata信息写入了Script Tag中。但是在做flv文件合成的时候，发现网上有的flv文件将keyframes信息隐藏在Script Tag中。后来通过网络查一些资料，发现keyframes几乎是一个非官方的标准，也就是民间标准。
两个常用的操作metadata的工具是flvtool2和FLVMDI， 都是把keyframes作为一个默认的元信息项目。在FLVMDI的主页上有描述：

keyframes: (Object) This object is added only if you specify the /k
switch. ‘keyframes’ is known to FLVMDI and if /k switch is not
specified, ‘keyframes’ object will be deleted. ‘keyframes’ object has
2 arrays: ‘filepositions’ and ‘times’. Both arrays have the same
number of elements, which is equal to the number of key frames in the
FLV. Values in times array are in ‘seconds’. Each correspond to the
timestamp of the n’th key frame. Values in filepositions array are in
‘bytes’. Each correspond to the fileposition of the nth key frame
video tag (which starts with byte tag type 9).

也就是说keyframes中包含着2个内容 ‘filepositions’ and 'times’分别指的是关键帧的文件位置和关键帧的PTS。通过keyframes可以建立起自己的Index，然后再seek和快进快退的操作中，快速有效的跳转到你想要找的关键帧位置进行处理。

到此为止已经介绍完flv文件格式，flv格式还是比较简单的，header部分很简洁，body部分都是由一个个tag组成，tag的话也就三种，脚本tag一般只有一个。最后用一个简单的图来概括flv文件格式，以结束本文档。