直播中用到的一些技术和理念

Posted 2022-07-30 刘兆贤

IPTV：Internet Protocol Television，交互式网络电视

传输过程：将加密的视频以IP单播或组播的方式，发送给终端设备，通过DRM（Digital Rights Management数字版权管理）授权或密钥服务端，向终端传送授权或密钥，使终端能够解密视频，进行播放。

视频方面：通过RTMP（Real Time Message Protocol ，TCP传输，效率低有延时但质量高，可以直接在网页端使用，需要CDN）或RTSP（UDP传输-亦可使用TCP拉流，效率高但会丢数据，适合监控，局域网内传输；双通道，一个发播放停止等信令，一个发视频数据）或RTC(Real Time Communication，UDP协议，低延时无卡顿，成本高)，解压格式（mkv、rmvb、flv等），将视频（H.264）和音频(AAC)解码成（RGB/YUV）和声音（PCM-Pusle Code Modulation，需要本设备解码，区别于RAW无须解码、直接播放），根据时间戳顺序播放。

关键技术：视频编解码、视频分发（支持CDN）、视频切片（支持切割成小段，分到不同引擎）、DHCP（Dynamic Host Configuration Protocol动态主机配置协议，作用：客户端登录时自动获取IP和子网掩码）、组播、SAN

视频编解码：应用H.264的编解码标准。优势：1、比H.263和MPEG-4节约50%的码率；2、支持IP包，方便分组传播；3、具备较强的抗误码特性，适应丢包率高、干扰严重的无线传输；4、支持不同网络质量的分级编码传播，可以获得稳定的图片质量。

如何将RTMP或RTSP等协议的视频转换成MP4，接收H.264视频数据和ACC音频数据，将它们合并形成MP4文件。

YUV对比RGB，Y代表明亮度Luma(灰白-黑白电视),UV代表饱合度Chroma（单色-彩色电视），人眼对亮度比色彩更敏感，优势在于后者需要3独立个视频信号同时传输，占用带宽高。如1280*720的图片，一次传输大小为1280*720*3（r+g+b，每个8bit=1byte）/1024/1024=2.64M流量。其中YUV444（1个Y对应1组UV）是全量传输，YUV422（2个Y对应1组UV）和YUV420（4个对应1组UV），则YUV444需要2.64M流量，YUV422需要2.64M*2/3流量，YUV420需要2.64M/2流量。

其中YUV和RGB可以进行相互转换。

单播：点对点；
广播：同一局域网内；
组播：点对多。优势：同一份数据，无需拷贝，减少网络阻塞，类似邮件组，劣势：UDP传输，可能会出现丢失。

SAN（Storage Area Network），集中共享存储，方便进行统一防护和恢复，可用以太网（Ethernet局域网技术，区别于广域网Internet）和光纤通道，Nas只能用以太网，前者重视高性能、低延迟，后者重视易用性、拓展性和更低成本。

RTSP技术用于IPTV，主要应用于普通监控、聊天等实时性比较强的领域，RTMP适合所有摄像头格式，主要用于高质量直播等领域，容易在网页直接播放，低延迟，稳定性高。

录播推流：设置视频大小、视频源、音视频码率（越高越清晰）、视频帧率（手机GPU每秒能处理的视频图片数量）、视频镜像、数据流回调等参数，控制摄像头、权限申请、贴纸管理等业务，接入Agora声网API，将流推到远程服务端，客户端通过播放器拉取流信息，并进行视频大小适配等，展示直播场景。

可用的直播流地址：
1，RTMP协议直播源
香港卫视：rtmp://live.hkstv.hk.lxdns.com/live/hks
 
2，RTSP协议直播源
珠海过澳门大厅摄像头监控：rtsp://218.204.223.237:554/live/1/66251FC11353191F/e7ooqwcfbqjoo80j.sdp
大熊兔（点播）：rtsp://184.72.239.149/vod/mp4://BigBuckBunny_175k.mov
 
3，HTTP协议直播源
香港卫视：http://live.hkstv.hk.lxdns.com/live/hks/playlist.m3u8
CCTV1高清：http://ivi.bupt.edu.cn/hls/cctv1hd.m3u8
CCTV3高清：http://ivi.bupt.edu.cn/hls/cctv3hd.m3u8
CCTV5高清：http://ivi.bupt.edu.cn/hls/cctv5hd.m3u8
CCTV5+高清：http://ivi.bupt.edu.cn/hls/cctv5phd.m3u8
CCTV6高清：http://ivi.bupt.edu.cn/hls/cctv6hd.m3u8
苹果提供的测试源（点播）：http://devimages.apple.com.edgekey.net/streaming/examples/bipbop_4x3/gear2/prog_index.m3u8