vlc源码分析 调试学习HLS协议

Posted 2020-10-05

        HTTP Live Streaming（HLS）是苹果公司提出来的流媒体传输协议。与RTP协议不同的是，HLS可以穿透某些允许HTTP协议通过的防火墙。

一、HLS播放模式

（1） 点播模式(Video on demand, VOD)

        点播模式是指当前时间点可以获取到所有index文件和ts文件，二级index文件中记录了所有ts文件的地址。这种模式允许客户端访问全部内容。上面的例子中就是一个点播模式下的m3u8的结构。 

（2） 直播模式(Live)

        直播模式是指实时生成M3u8和ts文件。它的索引文件一直处于动态变化的，播放的时候需要不断下载二级index文件，以获得最新生成的ts文件播放视频。如果一个二级index文件的末尾没有#EXT-X-ENDLIST标志，说明它是一个Live视频流。 

        客户端在播放VOD模式的视频时其实只需要下载一次一级index文件和二级index文件就可以得到所有ts文件的下载地址，除非客户端进行比特率切换，否则无需再下载任何index文件，只需顺序下载ts文件并播放就可以了。但是Live模式下略有不同，因为播放的同时，新ts文件也在被生成中，所以客户端实际上是下载一次二级index文件，然后下载ts文件，再下载二级index文件（这个时候这个二级index文件已经被重写，记录了新生成的ts文件的下载地址）,再下载新ts文件，如此反复进行播放。 

        如果HLS的索引文件分为2级，那么第一级的index文件称为Master PlayList，可能包含着各种分辨率的index地址，选定某一个地址后，获取的index文件是第二级，Media PlayList。 保留着每一个#EXT-X-STREAM-INF的下一行是二级index文件的路径，可以用相对路径也可以用绝对路径。这个文件中记录了不同比特率视频流的二级index文件路径，客户端可以自己判断自己的现行网络带宽，来决定播放哪一个视频流。

        测试的HLS地址：http://live.hkstv.hk.lxdns.com/live/hks/playlist.m3u8（Live）

        http://devimages.apple.com/iphone/samples/bipbop/bipbopall.m3u8（VOD）

二、m3u8文件的格式

        在开始流媒体会话时，客户端首先会获取一个m3u8文件，用于获取可以播放的媒体列表。 首先了解m3u8文件中几个标签的含义：

#EXTM3U // m3u文件头，必须放在第一行
#EXTINF // extra info，分片TS的信息，如时长，带宽等
#EXT-X-TARGETDURATION// 指定当前视频流中的切片文件的最大时长
#EXT-X-PLAYLIST-TYPE:VOD // 表示这是一个VOD文件
#EXT-X-ALLOW-CACHE // 是否允许cache
#EXT-X-ENDLIST // m3u8文件结束符

          在VLC输入上边VOD测试地址，点击播放后，就会向特定的服务器获取m3u8文件，一个普通的m3u8文件格式如下：

#EXTM3U
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=200000
gear1/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=311111
gear2/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=484444
gear3/prog_index.m3u8
#EXT-X-STREAM-INF:PROGRAM-ID=1, BANDWIDTH=737777
gear4/prog_index.m3u8

        上述文件表示不同分辨率的m3u8文件地址，获得该文件后，VLC会根据本地带宽选定使用的m3u8文件，然后打印如下日志：

httplive stream debug: bandwidth adaptation detected (program-id=1, bandwidth=200000).
access_http access debug: http: server=\'devimages.apple.com\' port=80 file=\'/iphone/samples/bipbop/gear1/prog_index.m3u8\'

        可见，此时VLC选定了bandwidth=200000的选项，然后VLC就会下载该选项对应的m3u8文件，该m3u8文件指定了要下载的ts文件的列表及地址。由于是VOD模式，m3u8文件是全的，最后也有“#EXT-X-ENDLIST”标识。

#EXTM3U
#EXT-X-TARGETDURATION:10
#EXT-X-MEDIA-SEQUENCE:0
#EXTINF:10, no desc
fileSequence0.ts
#EXTINF:10, no desc
fileSequence1.ts
#EXTINF:10, no desc
fileSequence2.ts
#EXTINF:10, no desc
fileSequence3.ts
......
#EXTINF:10, no desc
fileSequence178.ts
#EXTINF:10, no desc
fileSequence179.ts
#EXTINF:1, no desc
fileSequence180.ts
#EXT-X-ENDLIST

 三、使用VLC调试HLS协议 

        在之前的分析中介绍过，播放一个视频通常是access->demux->decoder->render的流水线过程，有时access和demux的过程会合在一起，比如播放RTSP摄像头时，access和demux都在Live555模块内进行。在读取HLS视频流时，access使用的是http+httplive模块，demux模块使用的是libts（之前的分析中有介绍），decoder一般是FFmpeg，render在不同的平台上会使用不同的模块（Windows一般是DShow，android一般是OpenGL）。了解了播放HLS视频源所使用的模块，可以在对应模块的Open函数中设置断点，调试其模块打开过程，以学习HLS。在modules\\access\\http.c文件中打印了如下信息：

access_http access debug: http: server=\'live.hkstv.hk.lxdns.com\' port=80 file=\'/live/hks/playlist.m3u8\'

        当点击播放测试的HLS地址后，VLC首先创建了一个access模块（http），http模块主要的工作就是进行http通信，由于通信过程中下载的文件格式是m3u8，因此还需要一个stream filter模块（httplive），也就是说解析m3u8格式是在httplive模块进行的。httplive模块在开启时，会创建hls_Thread线程不断的去下载ts文件，而且如果是实时播放模式的话，还会创建hls_Reload线程去更新ts文件列表。httplive会不断调用http去下载最新的ts文件，下载的ts数据文件中的数据（有视频有音频）保存在httplive模块。在得到了视频音频数据后，接下来要做的就是demux。libts在调用Demux函数在分离时，会调用ReadTSPacket函数，该函数会读取httplive模块下载好的ts数据，将这些ts数据分离至视频和音频FIFO，之后就是视频和音频decoder的事情了，不再赘述。 

        注意在实时播放模式下，播放HKS实时视频时，获得的ts流地址采用类似滑动窗口的形式，比如，第一次hls_ReloadPlaylist获得的m3u8文件中ts的数字是373363.ts、373364.ts和373365.ts，那么第二次hls_ReloadPlaylist时，获得的m3u8文件中ts的数字就是373364.ts、373365.ts和373366.ts，每次向后加1.

 

参考资料：

（1） 官方文档：https://github.com/jiayayao/DataSheet/tree/master/stream%20protocol/hls

（2） http://www.jianshu.com/p/426425cad08a

（3） vlc源码分析（四） 调用libts接收TS流

 

附：

        配置好的Windows版vlc工程下载：https://github.com/jiayayao/vlc_2.1.0-vs_2010，下载后使用vs2010可以直接编译运行，调试学习非常方便。