直播中用到的一些技术和理念

Posted 2022-04-30 刘兆贤

IPTV：Internet Protocol Television，交互式网络电视

传输过程：将加密的视频以IP单播或组播的方式，发送给终端设备，通过DRM（Digital Rights Management数字版权管理）授权或密钥服务端，向终端传送授权或密钥，使终端能够解密视频，进行播放。

视频方面：通过RTMP（Real Time Message Protocol ，TCP传输，效率低有延时但质量高，可以直接在网页端使用，需要CDN）或RTSP（UDP传输-亦可使用TCP拉流，效率高但会丢数据，适合监控，局域网内传输；双通道，一个发播放停止等信令，一个发视频数据）或RTC(Real Time Communication，UDP协议，低延时无卡顿，成本高)，解压格式（mkv、rmvb、flv等），将视频（H.264）和音频(AAC)解码成（RGB/YUV）和声音（PCM-Pusle Code Modulation，需要本设备解码，区别于RAW无须解码、直接播放），根据时间戳顺序播放。

关键技术：视频编解码、视频分发（支持CDN）、视频切片（支持切割成小段，分到不同引擎）、DHCP（Dynamic Host Configuration Protocol动态主机配置协议，作用：客户端登录时自动获取IP和子网掩码）、组播、SAN

视频编解码：应用H.264的编解码标准。优势：1、比H.263和MPEG-4节约50%的码率；2、支持IP包，方便分组传播；3、具备较强的抗误码特性，适应丢包率高、干扰严重的无线传输；4、支持不同网络质量的分级编码传播，可以获得稳定的图片质量。

如何将RTMP或RTSP等协议的视频转换成MP4，接收H.264视频数据和ACC音频数据，将它们合并形成MP4文件。

单播：点对点；
广播：同一局域网内；
组播：点对多。优势：同一份数据，无需拷贝，减少网络阻塞，类似邮件组，劣势：UDP传输，可能会出现丢失。

SAN（Storage Area Network），集中共享存储，方便进行统一防护和恢复，可用以太网（Ethernet局域网技术，区别于广域网Internet）和光纤通道，Nas只能用以太网，前者重视高性能、低延迟，后者重视易用性、拓展性和更低成本。

RTSP技术用于IPTV，主要应用于监控领域

录播推流：设置视频大小、视频源、音视频码率（越高越清晰）、视频帧率（手机GPU每秒能处理的视频图片数量）、视频镜像、数据流回调等参数，控制摄像头、权限申请、贴纸管理等业务，接入Agora声网API，将流推到远程服务端，客户端通过播放器拉取流信息，并进行视频大小适配等，展示直播场景。

可用的直播流地址：
1，RTMP协议直播源
香港卫视：rtmp://live.hkstv.hk.lxdns.com/live/hks
 
2，RTSP协议直播源
珠海过澳门大厅摄像头监控：rtsp://218.204.223.237:554/live/1/66251FC11353191F/e7ooqwcfbqjoo80j.sdp
大熊兔（点播）：rtsp://184.72.239.149/vod/mp4://BigBuckBunny_175k.mov
 
3，HTTP协议直播源
香港卫视：http://live.hkstv.hk.lxdns.com/live/hks/playlist.m3u8
CCTV1高清：http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8
CCTV3高清：http://ivi.bupt.edu.cn/hls/cctv3hd.m3u8
CCTV5高清：http://ivi.bupt.edu.cn/hls/cctv5hd.m3u8
CCTV5+高清：http://ivi.bupt.edu.cn/hls/cctv5phd.m3u8
CCTV6高清：http://ivi.bupt.edu.cn/hls/cctv6hd.m3u8
苹果提供的测试源（点播）：http://devimages.apple.com.edgekey.net/streaming/examples/bipbop_4x3/gear2/prog_index.m3u8