Golang 流媒体音视频网络传输开源项目-LAL

Posted 就想叫yoko

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Golang 流媒体音视频网络传输开源项目-LAL相关的知识,希望对你有一定的参考价值。

一. lal 简介

lal是开源直播流媒体网络传输项目,主要由三部分组成:

  • lalserver:流媒体转发服务器。类似于nginx-rtmp-module等服务,但支持更多的协议,提供更丰富的功能。
  • demo:一些小应用,比如推、拉流客户端,压测工具,流分析工具,调度示例程序等。类似于ffmpeg、ffprobe等应用。
  • pkg:流媒体协议库。类似于ffmpeg的libavformat等库。

lal github地址: https://github.com/q191201771/lal

以下是lal源码架构图,从中你可以大致了解lal是如何划分功能层次的:

二. lalserver 快速开始

1 编译

方式1,从源码自行编译

$git clone https://github.com/q191201771/lal.git
$cd lal
$export GO111MODULE=on && export GOPROXY=https://goproxy.cn,https://goproxy.io,direct
$make

或者使用GoLand等IDE编译。
如果没有安装Go编译器,可参考《CentOS或macOS安装GoLang》,windows操作系统可自行上网搜索教程。

方式2,直接下载编译好的二进制可执行文件

点我打开《github lal最新release版本页面》,可下载linux/macos/windows平台编译好的lal二进制可执行文件(zip压缩包形式)。

方式3,使用docker

docker又分为两种方式,一种是直接从Docker Hub下载已经编译好的镜像并运行:

$docker run -it -p 1935:1935 -p 8080:8080 -p 4433:4433 -p 5544:5544 -p 8083:8083 -p 8084:8084 -p 30000-30100:30000-30100/udp q191201771/lal /lal/bin/lalserver -c /lal/conf/lalserver.conf.json

另一种是根据本地代码和Dockerfile文件生成镜像并运行:

$git clone https://github.com/q191201771/lal.git
$cd lal
$docker build -t lal .
$docker run -it -p 1935:1935 -p 8080:8080 -p 4433:4433 -p 5544:5544 -p 8083:8083 -p 8084:8084 -p 30000-30100:30000-30100/udp lal /lal/bin/lalserver -c /lal/conf/lalserver.conf.json

2 运行

$./bin/lalserver -c conf/lalserver.conf.json

3 体验功能

lalserver服务启动后,就可以进行推拉流了。

lal github地址: https://github.com/q191201771/lal

三. lalserver 简介

lalserver是流媒体转发服务。类似于nginx-rtmp-module服务,简单来说,这类服务的核心功能是将推流客户端发送过来的音视频数据转发给对应的拉流客户端。
但lalserver支持更多的协议,提供更丰富的功能。

1 lalserver 特性

  • 全平台
    • 支持linux/macOS/windows多系统开发、调试、运行。支持多arch比如amd64/arm64/arm32/ppc64le/mipsle/s390x
    • 支持交叉编译。可在任一平台编译出其他平台的可执行文件
    • 无依赖。生成的可执行文件无任何环境、库依赖,可单文件独立运行
    • (开放源码的同时)提供各平台可执行文件,可免编译直接运行
    • 支持docker
  • 高性能。多核多线程扩展
  • 多种直播流封装协议。支持RTMP/RTSP/HTTP-FLV/HTTP-TS/HLS,支持不同封装协议间相互转换
  • 多种编码格式。视频支持H264/AVC,H265/HEVC,音频支持AAC
  • 多种格式录制。支持FLV,长MPEGTS,HLS录制(HLS直播与录制可同时开启)
  • HTTPS。支持HTTPS-FLV,HTTPS-TS,HLS over HTTPS拉流
  • WebSocket/WebSockets。支持Websocket-FLV,WebSocket-TS拉流
  • HLS。支持实时直播、全列表直播。切片文件支持多种删除方式。支持内存切片
  • RTSP。支持over TCP(interleaved模式)。支持basic/digest auth验证。支持GET_PARAMETER。兼容对接各种常见H264/H265/AAC实现
  • RTMP。完整支持RTMP协议,兼容对接各种常见RTMP实现。支持给单视频添加静音音频数据,支持合并发送
  • HTTP API接口。用于获取服务信息,向服务发送命令。
  • HTTP Notify事件回调
  • 支持多种方式鉴权
  • 分布式集群
  • 静态pull回源。通过配置文件配置回源地址
  • 静态push转推。支持转推多个地址。通过配置文件配置转推地址
  • CORS跨域。支持HTTP-FLV,HTTP-TS,HLS跨域拉流
  • HTTP文件服务器。比如HLS切片文件可直接播放,不需要额外的HTTP文件服务器
  • 监听端口复用。HTTP-FLV,HTTP-TS,HLS可使用相同的端口。over HTTPS类似
  • 秒开播放。GOP缓冲

2 lalserver 支持的协议

封装协议间转换的支持情况

转封装类型sub rtmpsub http[s]/websocket[s]-flvsub http[s]/websocket[s]-tssub hlssub rtsprelay push rtmp
pub rtmp
pub rtsp
relay pull rtmpX.

各封装协议对编码协议的支持情况

编码类型rtmprtsphlsflvmpegts
aac
avc/h264
hevc/h265

录制文件的类型

录制类型hlsflvmpegts
pub rtmp
pub rtsp

表格含义见: 连接类型之session pub/sub/push/pull

注意,如果只是rtsp流(确切的说是rtp包)相互间转发,不涉及到转封装成其他格式,理论上其他编码类型也支持。

3 lalserver 特性图

lal github地址: https://github.com/q191201771/lal

四. lalserver 各协议推拉流url地址列表

协议url地址协议标准端口
RTMP推流rtmp://127.0.0.1:1935/live/test1101935
RTSP推流rtsp://localhost:5544/live/test110554
...
RTMP拉流rtmp://127.0.0.1:1935/live/test1101935
HTTP-FLV拉流http://127.0.0.1:8080/live/test110.flv
https://127.0.0.1:4433/live/test110.flv (https地址)
80
443
WebSocket-FLV拉流ws://127.0.0.1:8080/live/test110.flv
wss://127.0.0.1:4433/live/test110.flv (websockets地址)
80
443
HLS(m3u8+ts)拉流http://127.0.0.1:8080/hls/test110.m3u8 (直播地址格式1)
http://127.0.0.1:8080/hls/test110/playlist.m3u8 (直播地址格式2)
http://127.0.0.1:8080/hls/test110/record.m3u8 (全量录播地址)
80
RTSP拉流rtsp://localhost:5544/live/test110554
HTTP-TS拉流http://127.0.0.1:8080/live/test110.ts (http地址)
https://127.0.0.1:4433/live/test110.ts (https地址)
ws://127.0.0.1:8080/live/test110.ts (websocket地址)
wss://127.0.0.1:4433/live/test110.ts (websockets地址)
80
443
80
443

关于端口

如果使用协议标准端口,则地址中的端口可以省略,比如http的默认端口是80,则http://127.0.0.1:80/live/test110.flv变成http://127.0.0.1/live/test110.flv

如果你不熟悉推拉流客户端该如何配合使用,可参考 常见推拉流客户端信息汇总

lal github地址: https://github.com/q191201771/lal

五. lalserver 配置文件说明


  "# doc of config": "https://pengrl.com/lal/#/ConfigBrief", //. 配置文件对应的文档说明链接,在程序中没实际用途
  "conf_version": "0.2.8",                                   //. 配置文件版本号,业务方不应该手动修改,程序中会检查该版本
                                                             //  号是否与代码中声明的一致
  "rtmp": 
    "enable": true,                      //. 是否开启rtmp服务的监听
                                         //  注意,配置文件中控制各协议类型的enable开关都应该按需打开,避免造成不必要的协议转换的开销
    "addr": ":1935",                     //. RTMP服务监听的端口,客户端向lalserver推拉流都是这个地址
    "gop_num": 0,                        //. RTMP拉流的GOP缓存数量,加速流打开时间,但是可能增加延时
                                         //. 如果为0,则不使用缓存发送
    "merge_write_size": 0,               //. 将小包数据合并进行发送,单位字节,提高服务器性能,但是可能造成卡顿
                                         //  如果为0,则不合并发送
    "add_dummy_audio_enable": false,     //. 是否开启动态检测添加静音AAC数据的功能
                                         //  如果开启,rtmp pub推流时,如果超过`add_dummy_audio_wait_audio_ms`时间依然没有
                                         //  收到音频数据,则会自动为这路流叠加AAC的数据
    "add_dummy_audio_wait_audio_ms": 150 //. 单位毫秒,具体见`add_dummy_audio_enable`
  ,
  "default_http":                        //. http监听相关的默认配置,如果hls, httpflv, httpts中没有单独配置以下配置项,
                                          //  则使用default_http中的配置
                                          //  注意,hls, httpflv, httpts服务是否开启,不由此处决定
    "http_listen_addr": ":8080",          //. HTTP监听地址
    "https_listen_addr": ":4433",         //. HTTPS监听地址
    "https_cert_file": "./conf/cert.pem", //. HTTPS的本地cert文件地址
    "https_key_file": "./conf/key.pem"    //. HTTPS的本地key文件地址
  ,
  "httpflv": 
    "enable": true,          //. 是否开启HTTP-FLV服务的监听
    "enable_https": true,    //. 是否开启HTTPS-FLV监听
    "url_pattern": "/",      //. 拉流url路由路径地址。默认值为`/`,表示不受限制,路由地址可以为任意路径地址。
                             //  如果设置为`/live/`,则只能从`/live/`路径下拉流,比如`/live/test110.flv`
    "gop_num": 0             //. 见rtmp.gop_num
  ,
  "hls": 
    "enable": true,                  //. 是否开启HLS服务的监听
    "enable_https": true,            //. 是否开启HTTPS-HLS监听
                                     //
    "url_pattern": "/hls/",          //. 拉流url路由地址,默认值`/hls/`,对应的HLS(m3u8)拉流url地址:
                                     //  - `/hls/streamName.m3u8`
                                     //  - `/hls/streamName/playlist.m3u8`
                                     //  - `/hls/streamName/record.m3u8`
                                     //
                                     //  playlist.m3u8文件对应直播hls,列表中只保存<fragment_num>个ts文件名称,会持续增
                                     //  加新生成的ts文件,并去除过期的ts文件
                                     //  record.m3u8文件对应录制hls,列表中会保存从第一个ts文件到最新生成的ts文件,会持
                                     //  续追加新生成的ts文件
                                     //
                                     //  ts文件地址备注如下:
                                     //  - `/hls/streamName/streamName-timestamp-index.ts` 或
                                     //    `/hls/streamName-timestamp-index.ts`
                                     //
                                     //  注意,hls的url_pattern不能和httpflv、httpts的url_pattern相同
                                     //
    "out_path": "./lal_record/hls/", //. HLS的m3u8和文件的输出根目录
    "fragment_duration_ms": 3000,    //. 单个TS文件切片时长,单位毫秒
    "fragment_num": 6,               //. playlist.m3u8文件列表中ts文件的数量
                                     //
    "delete_threshold": 6,           //. ts文件的删除时机
                                     //  注意,只在配置项`cleanup_mode`为2时使用
                                     //  含义是只保存最近从playlist.m3u8中移除的ts文件的个数,更早过期的ts文件将被删除
                                     //  如果没有,默认值取配置项`fragment_num`的值
                                     //  注意,该值应该不小于1,避免删除过快导致播放失败
                                     //
    "cleanup_mode": 1,               //. HLS文件清理模式:
                                     //
                                     //  0 不删除m3u8+ts文件,可用于录制等场景
                                     //
                                     //  1 在输入流结束后删除m3u8+ts文件
                                     //    注意,确切的删除时间点是推流结束后的
                                     //    `fragment_duration_ms * (fragment_num + delete_threshold)`
                                     //    推迟一小段时间删除,是为了避免输入流刚结束,HLS的拉流端还没有拉取完
                                     //
                                     //  2 推流过程中,持续删除过期的ts文件,只保留最近的
                                     //    `delete_threshold + fragment_num + 1`
                                     //    个左右的ts文件
                                     //    并且,在输入流结束后,也会执行清理模式1的逻辑
                                     //
                                     //  注意,record.m3u8只在0和1模式下生成
                                     //
    "use_memory_as_disk_flag": false //. 是否使用内存取代磁盘,保存m3u8+ts文件
                                     //  注意,使用该模式要注意内存容量。一般来说不应该搭配`cleanup_mode`为0或1使用
  ,
  "httpts": 
    "enable": true,         //. 是否开启HTTP-TS服务的监听。注意,这并不是HLS中的TS,而是在一条HTTP长连接上持续性传输TS流
    "enable_https": true,   //. 是否开启HTTPS-TS监听
    "url_pattern": "/"      //. 拉流url路由路径地址。默认值为`/`,表示不受限制,路由地址可以为任意路径地址。
                            //  如果设置为`/live/`,则只能从`/live/`路径下拉流,比如`/live/test110.ts`
  ,
  "rtsp": 
    "enable": true, //. 是否开启rtsp服务的监听,目前只支持rtsp推流
    "addr": ":5544" //. rtsp推流地址
  ,
  "record": 
    "enable_flv": true,                      //. 是否开启flv录制
    "flv_out_path": "./lal_record/flv/",     //. flv录制目录
    "enable_mpegts": true,                   //. 是否开启mpegts录制。注意,此处是长ts文件录制,hls录制由上面的hls配置控制
    "mpegts_out_path": "./lal_record/mpegts" //. mpegts录制目录
  ,
  "relay_push": 
    "enable": false, //. 是否开启中继转推功能,开启后,自身接收到的所有流都会转推出去
    "addr_list":[    //. 中继转推的对端地址,支持填写多个地址,做1对n的转推。格式举例 "127.0.0.1:19351"
    ]
  ,
  "relay_pull": 
    "enable": false, //. 是否开启回源拉流功能,开启后,当自身接收到拉流请求,而流不存在时,会从其他服务器拉取这个流到本地
    "addr": ""       //. 回源拉流的地址。格式举例 "127.0.0.1:19351"
  ,
  "http_api": 
    "enable": true, //. 是否开启HTTP API接口
    "addr": ":8083" //. 监听地址
  ,
  "server_id": "1", //. 当前lalserver唯一ID。多个lalserver HTTP Notify同一个地址时,可通过该ID区分
  "http_notify": 
    "enable": true,                                              //. 是否开启HTTP Notify事件回调
    "update_interval_sec": 5,                                    //. update事件回调间隔,单位毫秒
    "on_server_start": "http://127.0.0.1:10101/on_server_start", //. 各事件HTTP Notify事件回调地址
    "on_update": "http://127.0.0.1:10101/on_update",
    "on_pub_start": "http://127.0.0.1:10101/on_pub_start",
    "on_pub_stop": "http://127.0.0.1:10101/on_pub_stop",
    "on_sub_start": "http://127.0.0.1:10101/on_sub_start",
    "on_sub_stop": "http://127.0.0.1:10101/on_sub_stop",
    "on_rtmp_connect": "http://127.0.0.1:10101/on_rtmp_connect"
  ,
  "simple_auth":                     // 鉴权文档见: https://pengrl.com/lal/#/auth
    "key": "q191201771",              // 私有key,计算md5鉴权参数时使用
    "dangerous_lal_secret": "pengrl", // 后门鉴权参数,所有的流可通过该参数值鉴权
    "pub_rtmp_enable": false,         // rtmp推流是否开启鉴权,true为开启鉴权,false为不开启鉴权
    "sub_rtmp_enable": false,         // rtmp拉流是否开启鉴权
    "sub_httpflv_enable": false,      // httpflv拉流是否开启鉴权
    "sub_httpts_enable": false,       // httpts拉流是否开启鉴权
    "pub_rtsp_enable": false,         // rtsp推流是否开启鉴权
    "sub_rtsp_enable": false,         // rtsp拉流是否开启鉴权
    "hls_m3u8_enable": true           // m3u8拉流是否开启鉴权
  ,
  "pprof": 
    "enable": true, //. 是否开启Go pprof web服务的监听
    "addr": ":8084" //. Go pprof web地址
  ,
  "log": 
    "level": 1,                         //. 日志级别,0 trace, 1 debug, 2 info, 3 warn, 4 error, 5 fatal
    "filename": "./logs/lalserver.log", //. 日志输出文件
    "is_to_stdout": true,               //. 是否打印至标志控制台输出
    "is_rotate_daily": true,            //. 日志按天翻滚
    "short_file_flag": true,            //. 日志末尾是否携带源码文件名以及行号的信息
    "assert_behavior": 1                //. 日志断言的行为,1 只打印错误日志 2 打印并退出程序 3 打印并panic
  ,
  "debug": 
    "log_group_interval_sec": 30,          // 打印group调试日志的间隔时间,单位秒。如果为0,则不打印
    "log_group_max_group_num": 10,         // 最多打印多少个group
    "log_group_max_sub_num_per_group": 10  // 每个group最多打印多少个sub session
  

lal github地址: https://github.com/q191201771/lal

六. Demo 简介

lal项目中,除了/app/lalserver这个比较核心的服务之外,在/app/demo目录下还额外提供了一些小应用,功能简介:

demo说明
pushrtmpRTMP推流客户端;压力测试工具
pullrtmpRTMP拉流客户端;压力测试工具
pullrtmp2pushrtmp从远端服务器拉取RTMP流,并使用RTMP转推出去,支持1对n转推
pullrtmp2pushrtsp从远端服务器拉取RTMP流,并使用RTSP转推出去
pullrtmp2hls从远端服务器拉取RTMP流,存储为本地m3u8+ts文件
pullhttpflvHTTP-FLV拉流客户端
pullrtspRTSP拉流客户端
pullrtsp2pushrtsp从远端服务器拉取RTSP流,并使用RTSP转推出去
pullrtsp2pushrtmp从远端服务器拉取RTSP流,并使用RTMP转推出去
benchrtmpconnect对rtmp做并发建连压力测试
calcrtmpdelay测试rtmp服务器收发数据的延时
analyseflv从远端服务器拉取HTTP-FLV流,并进行分析
dispatch简单演示如何实现一个简单的调度服务,使得多个lalserver节点可以组成一个集群
flvfile2es将本地FLV文件分离成H264/AVC和AAC的ES流文件
modflvfile修改flv文件的一些信息(比如某些tag的时间戳)后另存文件

(更具体的功能参加各源码文件的头部说明)

七. 联系作者

  • 邮箱:191201771@qq.com
  • 微信: q191201771
  • QQ: 191201771
  • 微信群: 加我微信好友后,告诉我拉你进群
  • QQ群: 1090510973
  • lal github地址: https://github.com/q191201771/lal
  • lal官方文档: https://pengrl.com/lal

欢迎任何技术和非技术的交流。

视频会议及流媒体十大开源项目

在视频会议领域,有许多可以值得参考的开源项目,这些开源项目有的是协议栈、有的是编码器或者是传输协议,由于视频会议系统是一个综合性的应用系统,里面包含功能较多,如能把这些开源项目选择性的加入我们的视频会议开发当中,我们的开发效率肯定会事半功倍,下面我们列举一下视频会议相关的十大开源项目,并对其重要性及优缺点做一个全面的评价与排名。
1、 OpenH323项目        (★★★★★)
上榜理由:最著名的H.323开源协议栈,视频会议开发必备协议栈,强烈推荐
最著名的H.323开源协议栈,包含了全部的H.323协议功能,并有大量视频会议实现的参考例子,如终端、MCU服务器、gk等H.323协议的核心组成部件,Openh323是H.323协议首选协议栈,同时也是我们视频会议开发最值得作为参考的开源项目之一。
下载地址:http://www.h323plus.org/source/

2、 ffmpeg项目               (★★★★★)
上榜理由:最全面的开源编码器,包括了H.264、MPEG4、G.72x等音视频编码,效率也非常高,强烈推荐
   目前最全面的开源编码器,其中包括常用的音视频编码协议 h.264、MPEG4、H.263、G.721、G.726、G.729等,ffmpeg虽然是基于linux的开源项目,但可以通过交叉编译的方式在windows下运行,其项目加入了很多优化效率的代码,如采用汇编替代C,大大提高了编码的效率,推荐ffmpeg用于视频会议的实时编码。
 下载地址:http://ffmpeg.org/download.html

3、webrtc项目                   (★★★★☆)  
上榜理由:Google收购GIPS后开源的基于浏览器的实时通信开源项目,强烈推荐
Google收购GIPS后开源的基于浏览器的实时通信开源项目,GIPS是目前世界上最好的音频传输库,但其授权费非常高,webrtc是Google收购GIPS后,公开的一个通信项目,其核心voiceEngine就是由GIPS建立的,因此视频会议的音频部分可以参考webrtc来实现。
 下载地址:http://www.webrtc.org

4、OpenMeetings项目        (★★★★☆)
上榜理由:基于java的浏览器的视频会议开源项目,java开发视频会议的首选
OpenMeetings主要是基于OpenLaszlo的流媒体格式和Red5服务器的开源视频会议项目,其包含的功能包括音视频、电子白板等,其项目是用java进行开发。项目的缺点是bug较多,效率不高,但可以作为flash视频会议的一个参考。
下载地址:http://code.google.com/p/openmeetings/downloads/list

5、live555项目                    (★★★★☆)
上榜理由:重量级的C++流媒体开源项目,里面一些模块可以作为视频会议开发参考
      live555是最重量级的一个C++流媒体开源项目,其中不仅包括了传输协议(SIP、RTP)、音视频编码器(H.264、MPEG4)等,还包括流媒体服务器的例子,是流媒体项目的首选,里面的传输模块是非常值得视频会议开发作为参考的。
下载地址:http://www.live555.com/

6、OPAL项目                      (★★★★☆)
上榜理由:OpenH323的下一个版本,新包含了SIP协议栈,是实现SIP协议的首选
OPAL是OpenH323的下一个版本,继承了Openh323协议,其新包含了SIP协议栈,是实现SIP协议的首选,缺点是参考例子较少。
下载地址:http://sourceforge.net/projects/opalvoip/files/

7、x264项目                        (★★★★☆)
上榜理由:应用最广的H.264编码器,适合于实时视频的传输
X264是目前应用最广的H.264编码器,其省去了H.264效率较低的部分,并对其进行了优化,效率明显比其他的H.264开源项目高很多,是最适合于实时视频会议传输的H.264编解码库。
下载地址:http://www.x264.nl/

8、Speex项目                      (★★★★☆)
上榜理由: 音频领域最著名的开源项目,窄带和宽带都有很好的语音质量
      Speex是音频领域最著名的开源项目,窄带和宽带都有很好的语音质量,只需8kb就可以传输令人满意的语言,缺点是传输音乐的时候质量会下降。
下载地址:http://www.speex.org/downloads/

9、JRTPLIB项目                     (★★★☆☆)
上榜理由:C++跨平台的 RTP传输开源项目,RTP传输必备库
      JRTPLIB是C++跨平台的 RTP传输开源项目,实现RTP协议可以利用这个库,JRTPLIB是RTP传输必备库
下载地址:http://research.edm.uhasselt.be/~jori/page/index.php?n=CS.Jrtplib

10、XVid 项目                        (★★★☆☆)
上榜理由:最著名的MPEG4编码器开源项目,但效率不及x264
     在没有H.264编码协议之前,XVid的MPEG4编码一直是视频会议的首选视频编码器,但随着x264、CoreAVC等效率更高的H.264编码器的出现,其应用效果受到较大的冲击,但其结合directshow的视频采集模块还是值得视频会议开发人员参考的。
下载地址:http://www.xvid.org

视频会议传输模块的开发选择

视频会议主要是开发音视频、数据的传输的软件,在这些开发过程中,最核心的模块是传输模块,传输模块的性能直接影响到视频会议的最终质量,因此传输模块的选择在视频会议开发当中尤其重要。传输模块在开发过程中,由于考虑到QOS的影响,一般都会使用数据重发的技术,因此传输模块以及成为视频会议底层开发的一个重点,我们开发的传输模块,可以选择用TCP、UDP直接进行开发或者利用开源的传输库,因为一些开源传输库以及比较成熟,直接拿来用就可以,如果自己开发传输模块,估计也是一个巨大工程。现在我们介绍一下传输模块的开发选择。
1.      利用TCP进行开发
使用TCP直接进行传输模块的开发,在传输过程中数据不会丢包,我们可以采用OICP的完成端口来进行通讯,其优点是QOS有保证、支持大容量的数据并非,缺点是开发周期长,数据建立连接比一般UDP要长很多,而且资源占用也比一般UDP传输的要大。
2.      利用UDP进行开发
UPD是一种数据报传输方式,其数据在传输过程中不能保证数据的可靠性,因此用UPD进行传输模块的开发还要加入自己的QOS的丢包处理和自动重发的功能。其优点是数据传输较TCP快,缺点是开发周期长。
3.      利用UDT库进行开发
UDT建于UDP之上,并引入新的拥塞控制和数据可靠性控制机制。UDT是面向连接的双向的应用层协议。它同时支持可靠的数据流传输和部分可靠的数据报传输。UDT的特点是不用进行开发,直接利用库的发送函数就可以实现可靠的数据传输,缺点是模型较简单,没有OICP完成端口支持大容量的数据。
4.      利用Ranknet库进行开发
Raknet也是一个基于UDP网络传输协议的C++网络库,通过库的函数实现高效的网络传输服务。其具体应用在一些游戏领域,Radnet可以实现在两个程序之间每秒传输25,000条信息;其优点是不用进行开发,直接调用函数即可,缺点是大数据量在公网传输会由于网络堵塞而造成的流量控制失败的情况。
综上所述,视频会议的传输模块开发,传输效率最高是用UDP开发,但开发周期较长。用Raknet开发的传输模块不能适应大数据的传输,UDT在大数据量的传输有较好的优势,缺点是支持的并发不是很多。但如果经过修改后,UDT也能进行大容量的并发,因此综合考虑用UDT是视频会议传输模块的最佳选择。

视频会议的图像清晰度由什么决定

 

 我们选购视频会议的时候,最重要是考察系统的稳定性与音、视频质量等因素,而视频质量与视频会议的什么参数有关呢?首先我们说的视频质量,是我们平时的主观对视频图像的一个看法,不能通过一个具体的数字来体系,因此我们考察视频会议的质量只能通过主观对视频会议的图像的清晰度进行判断,而决定视频会议的清晰度由多种因素来决定,首先最重要的是视频会议的视频分辨率,另外一个是视频会议编码器的视频还原质量,最后一个视频会议的图像后处理技术。
 1、视频分辨率

      视频会议分辨率就是视频会议的视频采集的图像的分辨率,这个参数在视频会议的清晰度衡量中占用非常重要的作用,视频会议的分辨率可以分QCIF(160*120)、CIF(320*240)、720P(1280*720)、1280P(1920*1280)等分辨率,其分辨率越高,图像显示就越清楚,市场上所说的高清视频会议系统,也就是图像采集分辨率达到720P以上的高清分辨率。但是不是分辨率越高,视频会议的视频质量就越高呢?这个答案是否定。视频会议的分辨率只是图像的采集分辨率,而视频会议系统还需要经过视频的编码、解码、后期视频处理三个环节,因此视频会议分辨率越高不等同于视频会议的视频质量越高,只能说是本地的视频质量随图像采集分辨率的增加而增加。图一是各种分辨率下面的图像。而对于高清摄像头我们也有很大的误区,有的厂商把自己的摄像头标出非常高的像素,大家都认为这款肯定是高清分辨率,但测试的时候发现其分辨率只有640*480,这种摄像头其实并不是高清摄像头,高清摄像头的最基本指标是在720P的分辨率之上。因此高清摄像头决定因素是图像的采集分辨率。
 
图一
2、视频编码的还原质量
        视频编码质量也是决定视频会议清晰度的一个重要指标,如现在最流行的H.264编码,其编码质量较高,图像的还原能力比之前的MPEG4还原能力更强,那一副图像通过不同的视频编码还原后,图像的还原度是不一样的。我们首先要讲一下视频编码的过程,视频编码首先获得视频采集设备的图像,然后把图像分成若干个块,然后对块进行数字转换,通过把块的帧内预测、帧外预测达到还原的图像的目的,因此图像的分块越小,图像的还原度会越高,如H.264采用最少4*4的块进行块的预测,而MPEG4、H.263采用最小8*8和16*16的块进行预测还原,因此H.264编码的图像在同等数据传输率下,比MPEG4、H.263更清楚。因此视频会议的清晰度还和视频编码的还原质量有关。
3、视频会议图像后处理技术
       视频会议的图像清晰度最后也与图像的后处理技术相关,不同的视频会议系统对图像的后处理技术都不尽相同,有的 视频会议 为图像增加图像滤波处理,使图像还原去除方格效应等。有的视频会议软件为图像采用图像增强技术,使图像看起来,更清晰。
       以上就是决定视频会议清晰度的最主要的三个方面,视频会议分辨率是决定本地的视频质量的最关键因素。而视频编码是决定视频在编解码过程中的还原能的最主要因素,而图像后处理技术是图像还原的后期处理,在视频会议中也占有很重要的作用。

ffmpeg

  

FFmpeg(现改名为Libav)

FFmpeg是一个开源免费跨平台的视频和音频流方案,属于自由软件,采用LGPL或GPL许可证(依据你选择的组件)。它提供了录制、转换以及流化音视 频的完整解决方案。它包含了非常先进的音频/视频编解码库libavcodec,为了保证高可移植性和编解码质量,libavcodec里很多codec 都是从头开发的。

目录

名词含义 项目组成 多媒体处理功能
  1. 视频采集功能
  2. 视频格式转换功能
  3. 视频截图功能
  4. 给视频加水印功能
支持的格式和协议
  1. 支持的编码
  2. 支持的格式
  3. 支持的协议
相关版权
  1. FFmpeg耻辱柱(Hall Of Shame):

名词含义

  FFmpeg在Linux平台下开发,但它同样也可以在其它操作系统环境中编译运行,包括Windows、Mac OS X等。

  

FFmpeg\'s Logo

这个项目最早由Fabrice Bellard发起,现在由Michael Niedermayer维护。许多FFmpeg的开发人员都来自MPlayer项目,而且当前FFmpeg也是放在MPlayer项目组的服务器上。项目的名称来自MPEG视频编码标准,前面的"FF“代表"FastForward“,

项目组成

  FFmpeg是一套可以用来记录、转换数字音频、视频,并能将其转化为流的开源计算机程序。它包括了目前领先的音/视频编码库libavcodec等。

  libavformat :用于各种音视频封装格式的生成和解析,包括获取解码所需信息以生成解码上下文结构

  和读取音视频帧等功能;

  libavcodec :用于各种类型声音/图像编解码;

  libavutil :包含一些公共的工具函数;

  libswscale :用于视频场景比例缩放、色彩映射转换;

  libpostproc:用于后期效果处理;

  ffmpeg :该项目提供的一个工具,可用于格式转换、解码或电视卡即时编码等;

  ffsever :一个 HTTP 多媒体即时广播串流服务器;

  ffplay :是一个简单的播放器,使用ffmpeg 库解析和解码,通过SDL显示;

多媒体处理功能

  多媒体视频处理工具FFmpeg有非常强大的功能[1]包括视频采集功能、视频格式转换、视频抓图、给视频加水印等。

视频采集功能

  FFmpeg是在Linux下开发出来的,但它可以在包括Windows在内的大多数操作系统中编译。这个项目是由Fabrice Bellard发起的,现在由Michael Niedermayer主持。

  ffmpeg视频采集功能非常强大,不仅可以采集视频采集卡或USB摄像头的图像,还可以进行屏幕录制,同时还支持以RTP方式将视频流传送给支持RTSP的流媒体服务器,支持直播应用。

  ffmpeg在Linux下的视频采集

  在Linux平台上,ffmpeg对V4L2的视频设备提高了很好的支持,如:

  ./ffmpeg -t 10 -f video4linux2 -s 176*144 -r 8 -i /dev/video0-vcodec h263 -f rtp rtp://192.168.1.105:5060 > /tmp/ffmpeg.sdp

  以上命令表示:采集10秒钟视频,对video4linux2视频设备进行采集,采集 QCIF(176*144)的视频,每秒8帧,视频设备为/dev/video0,视频编码为h263,输出格式为RTP,后面定义了IP地址及端口,将该码流所对应的SDP文件重定向到/tmp/ffmpeg.sdp中,将此SDP文件上传到流媒体服务器就可以实现直播了。

  ffmpeg在windows下的视频采集

  在windows下关于ffmpeg视频采集的资料非常少,但是ffmpeg还是支持windows下视频采集的。ffmpeg支持windows下video for windows(VFW)设备的视频采集,不过VFW设备已经过时,正在被WDM的视频设备所取代,但是ffmpeg还没有支持WDM的计划,不过好像有将WDM转为VFW的工具,因此ffmpeg还是可以在windows下进行视频采集的。

视频格式转换功能

  ffmpeg视频转换功能。视频格式转换,比如可以将多种视频格式转换为flv格式,可不是视频信号转换,,

  ffmpeg可以轻易地实现多种视频格式之间的相互转换(wma,rm,avi,mod等),例如可以将摄录下的视频avi等转成现在视频网站所采用的flv格式。

视频截图功能

  对于选定的视频,截取指定时间的缩略图。视频抓图,获取静态图和动态图,不提倡抓gif文件;因为抓出的gif文件大而播放不流畅

给视频加水印功能

  使用ffmpeg 视频添加水印(logo)。

支持的格式和协议

支持的编码

  源自FFmpeg项目组的两个视频编码:

  Snow

  FFV1

  FFmpeg实现的其它音频视频编码:

  ITU-T video standards: H.261,[5]H.262 (aka MPEG-2Video), H.263[5], H.263v2 and H.264/MPEG-4 AVC[5]

  ITU-T vocoder standards: G.711&micro;-law, G.711 A-law, G.722.2 (aka AMR-WB. supports via OpenCORE) andG.726

  ISO/IEC MPEG video standards: MPEG-1Video, MPEG-2 Video (aka H.262),MPEG-4 Visual and H.264/MPEG-4 AVC

  ISO/IEC MPEG audio standards: MP2,MP3, AAC and MPEG-4 ALS

  ISO/IEC/ITU-T JPEG image standards:JPEG and JPEG-LS

  SMPTE video standards: VC-1 (akaWMV3), VC-3 (aka AVID DNxHD) and DPX image

  DVD Forum standards related audio codecs: MLP and AC-3

  3GPP vocoder standards: AMR-NB,AMR-WB (aka G.722.2. supports via OpenCORE)

  Windows Media Player related video codecs: Microsoft RLE, Microsoft Video 1, Cinepak, Indeo 2, 3 and 5[5],Motion JPEG, Microsoft MPEG-4 v1, v2 and v3, WMV1, WMV2 and WMV3

  Windows Media Player related audio codecs: WMA1, WMA2, WMA Pro and WMA Voice

  Real Player related video codecs:Real Video 1, 2, 3 and 4

  Real Player related audio codecs:Real Audio 1, 2, 3, 4, 5, 6, 7, 8 and 9

  QuickTime related video codecs:Cinepak, Motion JPEG and Sorenson 3 Codec

  QuickTime related audio codecs:QDesign Music Codec 2 and ALAC

  Adobe Flash Player related video codecs: Sorenson 3 Codec, VP6 and Flash Screen Video

  Xiph-Org: Theora, Speex (vialibspeex), Vorbis and FLAC

  Sony: ATRAC1 and ATRAC3[5]

  NTT: TwinVQ

  On2: Duck TrueMotion 1, DuckTrueMotion 2, VP3, VP5[5] and VP6[5]

  RAD Game Tools: Smacker video andBink video

  Truespeech

  TXD[6]

支持的格式

  ASF

  AVI

  BFI[7]

  IFF[8]

  RL2[9]

  FLV

  MXF, Material eXchange Format, SMPTE 377M

  Matroska

  Maxis XA[10]

  MSN Webcam stream[11]

  MPEG transport stream

  TXD[6]

  OMA[12]

  GXF, General eXchange Format, SMPTE 360M

  mov,mp4,m4a,3gp,

支持的协议

  HTTP

  RTP

  RTSP

  RealMedia RTSP/RDT

  TCP

  UDP

  Gopher

  RTMP

  RTMPT, RTMPE, RTMPTE, RTMPS (via librtmp)

  SDP

  MMS over TCP

相关版权

  FFmpeg被许多开源项目采用,比如ffmpeg2theora,VLC, MPlayer, HandBrake, Blender, Google Chrome等。还有DirectShow/VFW的ffdshow(externalproject)和QuickTime的Perian (external project)也采用了FFmpeg。

FFmpeg耻辱柱(Hall Of Shame):

  由于FFmpeg是在LGPL/GPL协议下发布的(如果使用了其中一些使用GPL协议发布的模块则必须使用GPL协议),任何人都可以自由使用,但必须严格遵守LGPL/GPL协议。目前有很多播放软件都使用了FFmpeg的代码,但它们并没有遵守LGPL/GPL协议,没有公开任何源代码。我们应该对这种侵权行为表示耻辱。

  2009年加入FFmpeg的播放软件:暴风影音、QQ影音、KMP都在其列。

  2009年2月,韩国名软KMPlayer被FFmpeg开源项目发现使用了它们的代码和二进制文件,但是没有按照规定/惯例开放相应说明/源码。因此被人举报,进入了FFmpeg官网上的耻辱黑名单。

  2009年5月,网友cehoyos下载了暴风影音软件,解压之后发现其安装程序内包含了大量的开源和私有解码器:avcodec,avformat,avutil,x264,xvid,bass,wmvdmod等,之后暴风影音被正式加入到FFmpeg耻辱名单。

  2009年11月,网友roo_zhou向FFmpeg举报,指出QQ影音的credit只给出了修改的FFmpeg源码下载,声称是LGPL许可证。但实际是修改过的ffdshow,采用的是GPL许可证,之后QQ影音被正式加入到FFmpeg耻辱名单之列。

 ----------------------------------------------------------------------------------------------------------------------------------------------------------------------

VLC多媒体播放器

 

VLC多媒体播放器(最初命名为VideoLAN客户端)是VideoLAN计划的多媒体播放器。它支持众多音频与视频解码器及档案格式,并支持DVD影碟,VCD影碟及各类串流协定。它亦能作为unicast 或multicast的串流服务器在IPv4 或 IPv6的高速网络连线下使用。它融合了FFmpeg计划的解码器与libdvdcss程序库使其有播放多媒体档案及加密DVD影碟的功能。

 

  在Windows,Linux及某些平台,VLC提供了一个Mozilla插件,使得某些网站上捆绑的Quick Time及WindowsMedia files多媒体档案可以在不使用微软或苹果电脑产品下于Mozilla的浏览器中正常显示。

  由版本0.8.2开始,VLC亦提供了一个Active X插件,使得用户可以在InternetExplorer下,正常显示某些网站上捆绑的Quick Time及Windows Media多媒体档案可以在不使用微软或苹果电脑产品。

  VLC还有一个非常好的功能——播放那些没有下载完整的视频文件。

附加组件

  基于VLC,浏览器相关的多媒体插件(mozilla-plugin-vlc)

  VideoLAN流媒体解决方案之文档(video-doc)

详细信息

  总大小:下载13.0MB,安装时为41.2MB

  版本:1.1.9-1ubuntu1 (vlc)

  许可协议:开放源代码

系统支持

  VLC支持以下操作系统,下载的时候请选择你的系统。

  Official Downloads of VLC media player

  Windows

  Mac OS X

  iOS

  GNU/Linux

  Debian GNU/Linux

  Ubuntu

  openSUSE

  Gentoo Linux

  Fedora

  Arch Linux

  Slackware Linux

  Mandriva Linux

  ALT Linux

  Red Hat Enterprise LinuxOther OS

  FreeBSD

  NetBSD

  OpenBSD

  Solaris

  Android

  QNX

  Syllable

  OS/2

-------------------------------------------------------------------------------------------------------------------------------------------------------------

ffdshow项目

ffdshow是一套免费的编解码软件,可支持H.264FLVWMVMPEG-1MPEG-2以及MPEG-4等格式视频档。ffdshow本身并不包含媒体播放器,但各种媒体播放器都可以使用ffdshow进行解码。

功能

  FFDShow是一款全能的 DirectShow 解码、编码器,可以解压缩常见的视频格式和几乎所有的音频格式, 它还提供了丰富的加工处理选项,可以锐化画面,调节画面的亮度,它还支持诸多字幕格式.它能让音频和视频播放更流畅。

组件

   DirectShow解码、编码器FFDShow 是对一些codec( ffmpeg , xvid, andother)的封装,封装成了DirectShow和 VFW 的标准组件。  ffdshow 使用 libavcodec library 以及其他各种开放源代码的 软件包 。      
   

在射手影音播放器中弹出的ffdshow应用窗口

FFDShow是一个支持Xvid、MPEG4-V3 MPEG4-V2以及DivX所有版本所制作的视频文件的播放软件,占CPU资源比较少,还有很多画面优化功能,让 音频 和视频播放更流畅!是播放DVD影片必备的工具。

音视频解码


视频和音频分离出来后,就要交给对应的解码器进行解码 [1] 。常见的 视频编码 有MPEG2,Divx,XVID,H264等,常见的 音频编码 有AC3,DTS,DDPlus,DTSHD,LPCM等。不同格式需要不同的解码器进行解码,好比不同的锁需要不同的钥匙一样。

FFDShow支持的音视频格式

  FFDShow支持DivX,XviD, WMV,MPEG -1, MPEG-2, MPEG-4, Flash, VP6, AVC等视频格式。不止是视频,FFDShow同样可以解码音频,AC3、MP3等音频格式都可支持,ffdshow支持的音频格式包括 MP3, AAC, AC3, WMA,Vorbis, DTS, Ogg。另外,音频解码器可选择Cyberlink、ffdshow、AC3filter,或开启MPC/KMP内置的DTS解码器。

解码插件

  ffdshow是DVDRIP等avi格式压制成rmvb最重要的辅助插件。利用ffdshow提供的某些滤镜设置可以使rmvb获得很好的效果。ffdshow可以当作插件化的avs,ffdshow的很多虑镜设置都可以用过avs来实现,只是ffdshow目前只完美支持avi格式ffdshow的目前版本基本跟上了xvid的几种特殊情况。可以说ffdshow的发展寓于avi编码的发展之中。据说新的xvid解码插件里ffdshow的开发者也参与了部分。ffdshow支持的格式和滤镜ffdshow可以配置字幕的显示,可以启用或禁用各种内建的编码,可以屏幕截图,可以启用快捷键,还有增强电影的清晰度,锐度和其他的后处理的滤镜。它可以配合均衡器,混音器,Winamp dsp插件对音频进行控制。一些后处理功能是由MPlayer工程和AviSynth滤镜借用而来。  

ffdshow采用libavcodec解编码库和一些免费的开放的软件开发包解码大多数常规的格式,例如:MPEG-4 (包括视频解码Xvid, 3ivx, 和全部版本的DivX).Flash Video, H.263。

  

删除方法:由于某些原因,ffdshow会出现在任务栏的上,既不美观也不实用,让人头疼。只需要在我的电脑里搜索ffdshow,找到那个文件并删除,就可以去掉电脑右下角的图标。

  

关闭方法如图所示:点击“ffdshow audio decoder ”,点击“Tray,dialog & paths”项,在右边的“Tray icon”下,去掉"Show try icon"这项前面的对钩,然后点确定就会关闭了。

以上是关于Golang 流媒体音视频网络传输开源项目-LAL的主要内容,如果未能解决你的问题,请参考以下文章

2023-03-05:ffmpeg推送本地视频至lal流媒体服务器(以RTMP为例),请用go语言编写。

视频会议及流媒体十大开源项目

音视频流媒体平台的开发,开源平台EasyDarwin为什么备受“宠爱”?

live555笔记_hi3516A

6个P2P流媒体开源项目介绍

基于 HLS 创建 Golang 视频流服务器