种开源的跨平台视频开发框架：VideoLAN-VLC media player

Posted 2022-03-07 郭风朴

VLC原先是几个法国的大学生做的项目，后来他们把VLC作为了一个开源的项目，吸引了来自世界各国的很多优秀程序员来共同编写和维护VLC，才逐渐变成了现在这个样子。至于为什么叫VideoLan Client，是因为以前还有一个VideoLan Server的项目（简称VLS），而目前VLS的功能已经合并到VLC中来，所以VLC不仅仅是一个视频播放器，它也可以作为小型的视频服务器，更可以一边播放一边转码，把视频流发送到网络上。

    VLC的功能很强大，它不仅仅是一个视频播放器，也可作为小型的视频服务器，更可以一边播放一边转码，把视频流发送到网络上。VLC最为突出的就是网络流的播放功能，例如MPEG2的UDP TS流的播放和转发，几乎是无可替代的。

    对普通用户来说，VLC还有一个好处是不影响Windows中的解码器。VLC通常不影响也不依赖于系统中自带的解码器（除了realvideo和quicktime的类型），很绿色很环保；更不用担心流氓软件、广告插件之类的恶心的玩意儿。
    从程序结构来看，VLC的可扩展性是相当优秀的。VLC绝大部分用高效的C代码来编写（少量的C++和汇编），但是实现了完全动态的模块化，所有功能包括程序框架本身都是module，可以在运行时载入，这使得VLC可以轻易的扩展多种功能并且容易维护。它的架构有一点类似于DirectShow的技术，这个在以后将详细讨论。
    VLC也很注重版权方面的问题，你可以放心的自由的使用而不需要为版权的问题担心——VLC只包括免费的、自由的库。VLC基于GPL，因此也可以用于商业应用，只需要保留GPL，以及公开源代码，如果你修改了VLC的话。
下面是VLC相关的一些链接
VLC官方网站：http://www.videolan.org/
VLC下载页面：http://www.videolan.org/vlc/
VLC下载目录（源码和安装包）：http://download.videolan.org/pub/videolan/vlc/
VLC Nightly Builds：  http://nightlies.videolan.org/
VLC 开发Wiki：http://wiki.videolan.org/Developers_Corner
VLC Win32第三方库预编译包下载目录：http://download.videolan.org/pub/testing/win32/
VLC 官方论坛：http://forum.videolan.org/

VLC 邮件列表：http://www.videolan.org/developers/lists.html

    总的来说把VLC内嵌入自己的应用有4种途径：

1. 直接调用VLC进程
2. VLC的plugin for Mozilla
3. VLC的ActiveX插件：vlc自带了ActiveX控件--axvlc.dll,在编译完vlc之后的activex文件夹下。ActiveX是个好东西，axvlc.dll可以随意放到任何位置，成功注册之后可以方便的应用在程序和网页之中。可以参考activex文件夹下的test.html和README.TXT。ActiveX控件的接口有第一版和第二版，第一版简单，功能少，已经不再维护建议用第二版本，功能多一点。
4. 动态调用libvlc.dll

 

附：视频播放的基本流程  

    几乎所有的视频播放器，如VLC、MPlayer、Xine，包括DirectShow，在播放视频的原理和架构上都是非常相似的，理解这个对理解VLC的源码会有事半功倍的效果。
    大致的来说，播放一个视频分为4个步骤：
        1. acess 访问，或者理解为接收、获取、得到
        2. demux 解复用，就是把通常合在一起的音频和视频分离(还有可能的字幕) 
        3. decode 解码，包括音频和视频的解码
        4. output 输出，也分为音频和视频的输出（aout和vout）

    拿播放一个UDP组播的MPEG TS流来说吧，access部分负责从网络接收组播流，放到VLC的内存缓冲区中，access模块关注IP协议，如是否IPv6、组播地址、组播协议、端口等信息；如果检测出来是RTP协议（RTP协议在UDP头部简单得加上了固定12个字节的信息），还要分析RTP头部信息。这部分可以参看VLC源码 /modules/access/udp.c。

    在同目录下还可以看到大量的access模块，如file、http、dvd、ftp、smb、tcp、dshow、mms、v4l…等等。
    而demux部分首先要解析TS流的信息。TS格式是MPEG2协议的一部分，概括地说，TS通常是固定188字节的一个packet，一个TS流可以包含多个program（节目），一个program又可以包含多个视频、音频、和文字信息的ES流；每个ES流会有不同的PID标示。而又为了可以分析这些ES流，TS有一些固定的PID用来间隔发送program和es流信息的表格：PAT和PMT表。VLC专门做了一个独立的库libdvbpsi来解析和编码TS流，而调用它的代码可以参见VLC源码 /modules/demux/ts.c。之所以需要demux，是因为音视频在制作的时候实际上都是独立编码的，得到的是分开的数据，为了传输方便必须要用某种方式合起来，这就有了各种封装格式也就有了demux。

    demux分解出来的音频和视频流分别送往音频解码器和视频解码器。因为原始的音视频都是占用大量空间，而且冗余度较高的数据，通常在制作的时候就会进行某种压缩。这就是我们熟知的音视频编码格式，包括MPEG1（VCD）、MPEG2（DVD）、MPEG4、H.264、rmvb等等。音视频解码器的作用就是把这些压缩了的数据还原成原始的音视频数据。VLC解码MPEG2使用了一个独立的库libmpeg2，调用它的源文件是 /modules/codec/libmpeg2.c。VLC关于编解码的模块都放在/modules/codec目录下，其中包括著名的庞大的ffmpeg解码器。

    视频解码器输出的是一张一张的类似位图格式的图像，但是要让人从屏幕看得到，还需要一个视频输出的模块。当然可以像一个Win32窗口程序那样直接把图像画到窗口DC上——VLC的一个输出模块WinGDI就是这么干的，但是通常这太慢了，而且消耗大量的CPU。在Windows下比较好的办法是用DirectX的接口，会自动调用显卡的加速功能。
    这样的功能分解使得模块化更容易一点，每个模块住需要专注于自己的事；从整体来说功能强大而且灵活。
    但是事情总是不会那么简单。就拿access来说，媒体的访问是分层的，如RTSP就涉及到IPv4、TCP、UDP、RTCP、RTSP等多个层次的协议。有些视频格式包括了传输、封装格式和编辑码格式如MPEG系列，有些封装格式是独立的容器，但是很多人会误解它是编解码格式，如mkv、avi这些。
    音频和视频在demux之后就是独立的，但是需要有一套机制把它们同步起来。同时我们需要有一套机制来控制速度、暂停、停止、跳进，获取各种媒体信息，这些都是很复杂而又很重要的事情。
    另外也许需要在某个地方插入一些修改，来实现某种效果。如音频的EQ，视频的亮度调整之类的，VLC专门设计了access_filter、audio_filter和video_filter类型的模块来做这一类事情。
    VLC比较独特的地方是集成了原来的VLS的功能，这依赖于VLC中stream_output类型的模块，它们可以把正在播放的视频以某种方式重新转码和发送出去，如http、UDP、文件等等。
    MPlayer的结构与此是类似的，如/stream目录对应的是access的功能，/mpdemux对应的demux功能，/libmpcodecs是解码器，/libvo和/libao2分别是视频和音频的输出。
    DirectShow也是类似的，不过分类更多一些更复杂一点。DirectShow里面的模块叫做“filter”，filter之间通过”pin”来连接。access的模块对应于DirectShow中的SourceFIlter，这一类Filter只有输出pin没有输入pin。demux模块对应于splitter filter，这种filter有一个输入pin，多个输出pin。解码模块是一类transform filter，有一个输入pin、一个输出pin，输出模块对应于readering filter，有一个输入pin，没有输出pin。当然transform filter不一定是解码器，也可能是某种其他的处理。
    另外给出一个VLC的API Document，参见：http://rogerfd.cn/doc/vlcapi.htm。

 

附：VLC代码框架分析  
        
1.vlc.c 只是入口程序

2.Libvlc.c 是各个模块的结合点，这要是对接口编程
    Vlc_Create(): 两个重要的数据结构：libvlc_t & vlc_t , 所有的参数传递都在这里面
    Vlc_Init(): 初始化参数， module_bank
    Vlc_AddInf(): 添加module

3./src/misc/configure.c 命令行参数和参数文件分析
参数文件是~/.vnc/vlcrc。其中可以设置log文件的位置

4./include/ 所有头文件的集合 

5./src/interface/Interface.h 所有module的集合

6./src/misc/Modules.c
其中module_t * __module_Need( vlc_object_t *p_this, const char *psz_capability, const char *psz_name, vlc_bool_t b_strict ) 方法是寻找合适的interface如果找到合适的，就调用AllocatePlugin()动态的分配一个。