视频会议及流媒体十大开源项目

Posted 2020-09-29 DoubleLi

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了视频会议及流媒体十大开源项目相关的知识，希望对你有一定的参考价值。

在视频会议领域，有许多可以值得参考的开源项目，这些开源项目有的是协议栈、有的是编码器或者是传输协议，由于视频会议系统是一个综合性的应用系统，里面包含功能较多，如能把这些开源项目选择性的加入我们的视频会议开发当中，我们的开发效率肯定会事半功倍，下面我们列举一下视频会议相关的十大开源项目，并对其重要性及优缺点做一个全面的评价与排名。

1、 OpenH323项目（★★★★★）

上榜理由：最著名的H.323开源协议栈，视频会议开发必备协议栈，强烈推荐

最著名的H.323开源协议栈，包含了全部的H.323协议功能，并有大量视频会议实现的参考例子，如终端、MCU服务器、gk等H.323协议的核心组成部件，Openh323是H.323协议首选协议栈，同时也是我们视频会议开发最值得作为参考的开源项目之一。

下载地址：http://www.h323plus.org/source/

2、 ffmpeg项目（★★★★★）

上榜理由：最全面的开源编码器，包括了H.264、MPEG4、G.72x等音视频编码，效率也非常高，强烈推荐

目前最全面的开源编码器，其中包括常用的音视频编码协议 h.264、MPEG4、H.263、G.721、G.726、G.729等，ffmpeg虽然是基于linux的开源项目，但可以通过交叉编译的方式在windows下运行，其项目加入了很多优化效率的代码，如采用汇编替代C，大大提高了编码的效率，推荐ffmpeg用于视频会议的实时编码。

下载地址：http://ffmpeg.org/download.html

3、webrtc项目 (★★★★☆)

上榜理由：Google收购GIPS后开源的基于浏览器的实时通信开源项目，强烈推荐

Google收购GIPS后开源的基于浏览器的实时通信开源项目，GIPS是目前世界上最好的音频传输库，但其授权费非常高，webrtc是Google收购GIPS后，公开的一个通信项目，其核心voiceEngine就是由GIPS建立的，因此视频会议的音频部分可以参考webrtc来实现。

下载地址：http://www.webrtc.org

4、OpenMeetings项目 (★★★★☆)

上榜理由：基于java的浏览器的视频会议开源项目，java开发视频会议的首选

OpenMeetings主要是基于OpenLaszlo的流媒体格式和Red5服务器的开源视频会议项目，其包含的功能包括音视频、电子白板等，其项目是用java进行开发。项目的缺点是bug较多，效率不高，但可以作为flash视频会议的一个参考。

下载地址：http://code.google.com/p/openmeetings/downloads/list

5、live555项目 (★★★★☆)

上榜理由：重量级的C++流媒体开源项目，里面一些模块可以作为视频会议开发参考

live555是最重量级的一个C++流媒体开源项目，其中不仅包括了传输协议（SIP、RTP）、音视频编码器（H.264、MPEG4）等，还包括流媒体服务器的例子，是流媒体项目的首选，里面的传输模块是非常值得视频会议开发作为参考的。

下载地址：http://www.live555.com/

6、OPAL项目 (★★★★☆)

上榜理由：OpenH323的下一个版本，新包含了SIP协议栈，是实现SIP协议的首选

OPAL是OpenH323的下一个版本，继承了Openh323协议，其新包含了SIP协议栈，是实现SIP协议的首选，缺点是参考例子较少。

下载地址：http://sourceforge.net/projects/opalvoip/files/

7、x264项目 (★★★★☆)

上榜理由：应用最广的H.264编码器，适合于实时视频的传输

X264是目前应用最广的H.264编码器，其省去了H.264效率较低的部分，并对其进行了优化，效率明显比其他的H.264开源项目高很多，是最适合于实时视频会议传输的H.264编解码库。

下载地址：http://www.x264.nl/

8、Speex项目 (★★★★☆)

上榜理由：音频领域最著名的开源项目，窄带和宽带都有很好的语音质量

Speex是音频领域最著名的开源项目，窄带和宽带都有很好的语音质量，只需8kb就可以传输令人满意的语言，缺点是传输音乐的时候质量会下降。

下载地址：http://www.speex.org/downloads/

9、JRTPLIB项目 (★★★☆☆)

上榜理由：C++跨平台的 RTP传输开源项目，RTP传输必备库

JRTPLIB是C++跨平台的 RTP传输开源项目，实现RTP协议可以利用这个库，JRTPLIB是RTP传输必备库

下载地址：http://research.edm.uhasselt.be/~jori/page/index.php?n=CS.Jrtplib

10、XVid 项目 (★★★☆☆)

上榜理由：最著名的MPEG4编码器开源项目，但效率不及x264

在没有H.264编码协议之前，XVid的MPEG4编码一直是视频会议的首选视频编码器，但随着x264、CoreAVC等效率更高的H.264编码器的出现，其应用效果受到较大的冲击，但其结合directshow的视频采集模块还是值得视频会议开发人员参考的。

下载地址：http://www.xvid.org

视频会议传输模块的开发选择

视频会议主要是开发音视频、数据的传输的软件，在这些开发过程中，最核心的模块是传输模块，传输模块的性能直接影响到视频会议的最终质量，因此传输模块的选择在视频会议开发当中尤其重要。传输模块在开发过程中，由于考虑到QOS的影响，一般都会使用数据重发的技术，因此传输模块以及成为视频会议底层开发的一个重点，我们开发的传输模块，可以选择用TCP、UDP直接进行开发或者利用开源的传输库，因为一些开源传输库以及比较成熟，直接拿来用就可以，如果自己开发传输模块，估计也是一个巨大工程。现在我们介绍一下传输模块的开发选择。

1. 利用TCP进行开发

使用TCP直接进行传输模块的开发，在传输过程中数据不会丢包，我们可以采用OICP的完成端口来进行通讯，其优点是QOS有保证、支持大容量的数据并非，缺点是开发周期长，数据建立连接比一般UDP要长很多，而且资源占用也比一般UDP传输的要大。

2. 利用UDP进行开发

UPD是一种数据报传输方式，其数据在传输过程中不能保证数据的可靠性，因此用UPD进行传输模块的开发还要加入自己的QOS的丢包处理和自动重发的功能。其优点是数据传输较TCP快，缺点是开发周期长。

3. 利用UDT库进行开发

UDT建于UDP之上，并引入新的拥塞控制和数据可靠性控制机制。UDT是面向连接的双向的应用层协议。它同时支持可靠的数据流传输和部分可靠的数据报传输。UDT的特点是不用进行开发，直接利用库的发送函数就可以实现可靠的数据传输，缺点是模型较简单，没有OICP完成端口支持大容量的数据。

4. 利用Ranknet库进行开发

Raknet也是一个基于UDP网络传输协议的C++网络库，通过库的函数实现高效的网络传输服务。其具体应用在一些游戏领域，Radnet可以实现在两个程序之间每秒传输25，000条信息；其优点是不用进行开发，直接调用函数即可，缺点是大数据量在公网传输会由于网络堵塞而造成的流量控制失败的情况。

综上所述，视频会议的传输模块开发，传输效率最高是用UDP开发，但开发周期较长。用Raknet开发的传输模块不能适应大数据的传输，UDT在大数据量的传输有较好的优势，缺点是支持的并发不是很多。但如果经过修改后，UDT也能进行大容量的并发，因此综合考虑用UDT是视频会议传输模块的最佳选择。

视频会议的图像清晰度由什么决定

我们选购视频会议的时候，最重要是考察系统的稳定性与音、视频质量等因素，而视频质量与视频会议的什么参数有关呢？首先我们说的视频质量，是我们平时的主观对视频图像的一个看法，不能通过一个具体的数字来体系，因此我们考察视频会议的质量只能通过主观对视频会议的图像的清晰度进行判断，而决定视频会议的清晰度由多种因素来决定，首先最重要的是视频会议的视频分辨率，另外一个是视频会议编码器的视频还原质量，最后一个视频会议的图像后处理技术。
1、视频分辨率

视频会议分辨率就是视频会议的视频采集的图像的分辨率，这个参数在视频会议的清晰度衡量中占用非常重要的作用，视频会议的分辨率可以分QCIF(160*120)、CIF(320*240)、720P(1280*720)、1280P(1920*1280)等分辨率，其分辨率越高，图像显示就越清楚，市场上所说的高清视频会议系统，也就是图像采集分辨率达到720P以上的高清分辨率。但是不是分辨率越高，视频会议的视频质量就越高呢？这个答案是否定。视频会议的分辨率只是图像的采集分辨率，而视频会议系统还需要经过视频的编码、解码、后期视频处理三个环节，因此视频会议分辨率越高不等同于视频会议的视频质量越高，只能说是本地的视频质量随图像采集分辨率的增加而增加。图一是各种分辨率下面的图像。而对于高清摄像头我们也有很大的误区，有的厂商把自己的摄像头标出非常高的像素，大家都认为这款肯定是高清分辨率，但测试的时候发现其分辨率只有640*480，这种摄像头其实并不是高清摄像头，高清摄像头的最基本指标是在720P的分辨率之上。因此高清摄像头决定因素是图像的采集分辨率。

图一

2、视频编码的还原质量

视频编码质量也是决定视频会议清晰度的一个重要指标，如现在最流行的H.264编码，其编码质量较高，图像的还原能力比之前的MPEG4还原能力更强，那一副图像通过不同的视频编码还原后，图像的还原度是不一样的。我们首先要讲一下视频编码的过程，视频编码首先获得视频采集设备的图像，然后把图像分成若干个块，然后对块进行数字转换，通过把块的帧内预测、帧外预测达到还原的图像的目的，因此图像的分块越小，图像的还原度会越高，如H.264采用最少4*4的块进行块的预测，而MPEG4、H.263采用最小8*8和16*16的块进行预测还原，因此H.264编码的图像在同等数据传输率下，比MPEG4、H.263更清楚。因此视频会议的清晰度还和视频编码的还原质量有关。

3、视频会议图像后处理技术

视频会议的图像清晰度最后也与图像的后处理技术相关，不同的视频会议系统对图像的后处理技术都不尽相同，有的视频会议为图像增加图像滤波处理，使图像还原去除方格效应等。有的视频会议软件为图像采用图像增强技术，使图像看起来，更清晰。

以上就是决定视频会议清晰度的最主要的三个方面，视频会议分辨率是决定本地的视频质量的最关键因素。而视频编码是决定视频在编解码过程中的还原能的最主要因素，而图像后处理技术是图像还原的后期处理，在视频会议中也占有很重要的作用。

Libav、FFmpeg、mplayer、VLC开源项目、FFDshow

ffmpeg

FFmpeg（现改名为Libav）

FFmpeg是一个开源免费跨平台的视频和音频流方案，属于自由软件，采用LGPL或GPL许可证（依据你选择的组件）。它提供了录制、转换以及流化音视频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec，为了保证高可移植性和编解码质量，libavcodec里很多codec 都是从头开发的。

名词含义项目组成多媒体处理功能

支持的格式和协议

名词含义

　　FFmpeg在Linux平台下开发，但它同样也可以在其它操作系统环境中编译运行，包括Windows、Mac OS X等。

FFmpeg\'s Logo

这个项目最早由Fabrice Bellard发起，现在由Michael Niedermayer维护。许多FFmpeg的开发人员都来自MPlayer项目，而且当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准，前面的"FF“代表"FastForward“，

项目组成

　　FFmpeg是一套可以用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec等。

　　libavformat ：用于各种音视频封装格式的生成和解析，包括获取解码所需信息以生成解码上下文结构

　　和读取音视频帧等功能；

　　libavcodec ：用于各种类型声音/图像编解码；

　　libavutil ：包含一些公共的工具函数；

　　libswscale ：用于视频场景比例缩放、色彩映射转换；

　　libpostproc：用于后期效果处理；

　　ffmpeg ：该项目提供的一个工具，可用于格式转换、解码或电视卡即时编码等；

　　ffsever ：一个 HTTP 多媒体即时广播串流服务器；

　　ffplay ：是一个简单的播放器，使用ffmpeg 库解析和解码，通过SDL显示；

多媒体处理功能

　　多媒体视频处理工具FFmpeg有非常强大的功能[1]包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。

视频采集功能

　　FFmpeg是在Linux下开发出来的，但它可以在包括Windows在内的大多数操作系统中编译。这个项目是由Fabrice Bellard发起的，现在由Michael Niedermayer主持。

　　ffmpeg视频采集功能非常强大，不仅可以采集视频采集卡或USB摄像头的图像，还可以进行屏幕录制，同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器，支持直播应用。

　　ffmpeg在Linux下的视频采集

　　在Linux平台上，ffmpeg对V4L2的视频设备提高了很好的支持，如：

　　./ffmpeg -t 10 -f video4linux2 -s 176*144 -r 8 -i /dev/video0-vcodec h263 -f rtp rtp://192.168.1.105:5060 > /tmp/ffmpeg.sdp

　　以上命令表示：采集10秒钟视频，对video4linux2视频设备进行采集，采集 QCIF(176*144)的视频，每秒8帧，视频设备为/dev/video0，视频编码为h263，输出格式为RTP，后面定义了IP地址及端口，将该码流所对应的SDP文件重定向到/tmp/ffmpeg.sdp中，将此SDP文件上传到流媒体服务器就可以实现直播了。

　　ffmpeg在windows下的视频采集

　　在windows下关于ffmpeg视频采集的资料非常少，但是ffmpeg还是支持windows下视频采集的。ffmpeg支持windows下video for windows(VFW)设备的视频采集，不过VFW设备已经过时，正在被WDM的视频设备所取代，但是ffmpeg还没有支持WDM的计划，不过好像有将WDM转为VFW的工具，因此ffmpeg还是可以在windows下进行视频采集的。

视频格式转换功能

　　ffmpeg视频转换功能。视频格式转换，比如可以将多种视频格式转换为flv格式，可不是视频信号转换，，

　　ffmpeg可以轻易地实现多种视频格式之间的相互转换(wma,rm,avi,mod等)，例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。

视频截图功能

　　对于选定的视频，截取指定时间的缩略图。视频抓图，获取静态图和动态图，不提倡抓gif文件;因为抓出的gif文件大而播放不流畅

给视频加水印功能

　　使用ffmpeg 视频添加水印(logo)。

支持的格式和协议

支持的编码

　　源自FFmpeg项目组的两个视频编码：

　　Snow

　　FFV1

　　FFmpeg实现的其它音频视频编码：

　　ITU-T video standards: H.261,[5]H.262 (aka MPEG-2Video), H.263[5], H.263v2 and H.264/MPEG-4 AVC[5]

　　ITU-T vocoder standards: G.711µ-law, G.711 A-law, G.722.2 (aka AMR-WB. supports via OpenCORE) andG.726

　　ISO/IEC MPEG video standards: MPEG-1Video, MPEG-2 Video (aka H.262),MPEG-4 Visual and H.264/MPEG-4 AVC

　　ISO/IEC MPEG audio standards: MP2,MP3, AAC and MPEG-4 ALS

　　ISO/IEC/ITU-T JPEG image standards:JPEG and JPEG-LS

　　SMPTE video standards: VC-1 (akaWMV3), VC-3 (aka AVID DNxHD) and DPX image

　　DVD Forum standards related audio codecs: MLP and AC-3

　　3GPP vocoder standards: AMR-NB,AMR-WB (aka G.722.2. supports via OpenCORE)

　　Windows Media Player related video codecs: Microsoft RLE, Microsoft Video 1, Cinepak, Indeo 2, 3 and 5[5],Motion JPEG, Microsoft MPEG-4 v1, v2 and v3, WMV1, WMV2 and WMV3

　　Windows Media Player related audio codecs: WMA1, WMA2, WMA Pro and WMA Voice

　　Real Player related video codecs:Real Video 1, 2, 3 and 4

　　Real Player related audio codecs:Real Audio 1, 2, 3, 4, 5, 6, 7, 8 and 9

　　QuickTime related video codecs:Cinepak, Motion JPEG and Sorenson 3 Codec

　　QuickTime related audio codecs:QDesign Music Codec 2 and ALAC

　　Adobe Flash Player related video codecs: Sorenson 3 Codec, VP6 and Flash Screen Video

　　Xiph-Org: Theora, Speex (vialibspeex), Vorbis and FLAC

　　Sony: ATRAC1 and ATRAC3[5]

　　NTT: TwinVQ

　　On2: Duck TrueMotion 1, DuckTrueMotion 2, VP3, VP5[5] and VP6[5]

　　RAD Game Tools: Smacker video andBink video

　　Truespeech

　　TXD[6]

支持的格式

　　ASF

　　AVI

　　BFI[7]

　　IFF[8]

　　RL2[9]

　　FLV

　　MXF, Material eXchange Format, SMPTE 377M

　　Matroska

　　Maxis XA[10]

　　MSN Webcam stream[11]

　　MPEG transport stream

　　TXD[6]

　　OMA[12]

　　GXF, General eXchange Format, SMPTE 360M

　　mov,mp4,m4a,3gp,

支持的协议

　　HTTP

　　RTP

　　RTSP

　　RealMedia RTSP/RDT

　　TCP

　　UDP

　　Gopher

　　RTMP

　　RTMPT, RTMPE, RTMPTE, RTMPS (via librtmp)

　　SDP

　　MMS over TCP

音视频解码

视频和音频分离出来后，就要交给对应的解码器进行解码 [1] 。常见的视频编码有MPEG2，Divx，XVID，H264等，常见的音频编码有AC3，DTS，DDPlus，DTSHD，LPCM等。不同格式需要不同的解码器进行解码，好比不同的锁需要不同的钥匙一样。

FFDShow支持的音视频格式

　　FFDShow支持DivX，XviD， WMV，MPEG -1， MPEG-2， MPEG-4， Flash， VP6， AVC等视频格式。不止是视频,FFDShow同样可以解码音频,AC3、MP3等音频格式都可支持，ffdshow支持的音频格式包括 MP3， AAC， AC3， WMA，Vorbis， DTS， Ogg。另外，音频解码器可选择Cyberlink、ffdshow、AC3filter，或开启MPC/KMP内置的DTS解码器。

解码插件

　　ffdshow是DVDRIP等avi格式压制成rmvb最重要的辅助插件。利用ffdshow提供的某些滤镜设置可以使rmvb获得很好的效果。ffdshow可以当作插件化的avs，ffdshow的很多虑镜设置都可以用过avs来实现，只是ffdshow目前只完美支持avi格式ffdshow的目前版本基本跟上了xvid的几种特殊情况。可以说ffdshow的发展寓于avi编码的发展之中。据说新的xvid解码插件里ffdshow的开发者也参与了部分。ffdshow支持的格式和滤镜ffdshow可以配置字幕的显示，可以启用或禁用各种内建的编码，可以屏幕截图，可以启用快捷键，还有增强电影的清晰度，锐度和其他的后处理的滤镜。它可以配合均衡器，混音器，Winamp dsp插件对音频进行控制。一些后处理功能是由MPlayer工程和AviSynth滤镜借用而来。　　

ffdshow采用libavcodec解编码库和一些免费的开放的软件开发包解码大多数常规的格式，例如:MPEG-4 (包括视频解码Xvid, 3ivx, 和全部版本的DivX).Flash Video, H.263。

删除方法：由于某些原因，ffdshow会出现在任务栏的上，既不美观也不实用，让人头疼。只需要在我的电脑里搜索ffdshow，找到那个文件并删除，就可以去掉电脑右下角的图标。

关闭方法如图所示：点击“ffdshow audio decoder ”,点击“Tray，dialog & paths”项，在右边的“Tray icon”下，去掉"Show try icon"这项前面的对钩，然后点确定就会关闭了。

原文链接:http://my.oschina.net/zhangxu0512/blog/315704

以上是关于视频会议及流媒体十大开源项目的主要内容，如果未能解决你的问题，请参考以下文章

Golang 流媒体音视频网络传输开源项目-LAL

iOS视频直播又一大神开源项目RTMP 协议

36款开源的经典音视频项目

优秀开源项目之二：流媒体直播系统Open Broadcaster Software

6个P2P流媒体开源项目介绍

2019 十大国产开源项目来势汹汹！