基于公有云平台实现直播点播及小视频功能

Posted 2020-12-04

呵呵，上一节不知道怎么的就开始扯起了电视的发展，不过确实是勾起了我童年的回忆，这节我们正式进入正题，先说说直播。
直播这个词看到以后，让我们想到的是什么？其实感觉也没什么，因为已经很普及，是否更多的是想到了直播带来的利益链？
“某公司财务职员私自挪用公司资产打赏某主播金额高达数百万！！！”是啊，好像更多的是这样的字眼，那这个平台是如何实现的呢？为什么能有这么大的能量？
直播包括流采集，流处理，编码，推流，拉流，解码，播放，这些步骤。

这个图片基本概括了直播的全过程

一、流采集
流采集包括图像流和音频流

音频采集
音频数据既能与图像结合组合成视频数据，也能以纯音频的方式采集播放，后者在很多成熟的应用场景如在线电台和语音电台等起着非常重要的作用。音频的采集过程主要通过设备将环境中的模拟信号采集成 PCM 编码的原始数据，然后编码压缩成 MP3 等格式的数据分发出去。常见的音频压缩格式有：MP3，AAC，HE-AAC，Opus，FLAC，Vorbis (Ogg)，Speex 和 AMR等。
音频采集和编码主要面临的挑战在于：延时敏感、卡顿敏感、噪声消除（Denoise）、回声消除（AEC）、静音检测（VAD）和各种混音算法等。

图像采集
将图像采集的图片结果组合成一组连续播放的动画，即构成视频中可肉眼观看的内容。图像的采集过程主要由摄像头等设备拍摄成 YUV 编码的原始数据，然后经过编码压缩成 H.264 等格式的数据分发出去。常见的视频封装格式有：MP4、3GP、AVI、MKV、WMV、MPG、VOB、FLV、SWF、MOV、RMVB 和 WebM 等。
图像由于其直观感受最强并且体积也比较大，构成了一个视频内容的主要部分。图像采集和编码面临的主要挑战在于：设备兼容性差、延时敏感、卡顿敏感以及各种对图像的处理操作如美颜和水印等。

视频采集的采集源主要有 摄像头采集、屏幕录制和从视频文件推流。

二、流处理
对采集的视频音频做一些处理
流采集的过程中会采集到最原始的视频和音频文件，需要进行一些处理，例如说增加logo水印，增加时间戳，进行图像美颜等操作。

三、编码
一个原始的视频数据采集到后容量非常的大，比如说一个时长10S的1080P的视频大小在1G左右，如果未经过编码压缩的话传输会非常有压力，并且也无法满足实时性的要求，而进过H..264编码后会将视频压缩到900K左右，10M的带宽传输只需要700ms左右，可以满足实时性的要求，所以从视频采集传感器采集来的原始视频势必要经过视频编码。
基本原理
为什么巨大的原始视频可以编码成很小的视频呢?这其中的技术是什么呢?核心思想就是去除冗余信息：
1）空间冗余：图像相邻像素之间有较强的相关性
2）时间冗余：视频序列的相邻图像之间内容相似
3）编码冗余：不同像素值出现的概率不同
4）视觉冗余：人的视觉系统对某些细节不敏感
5）知识冗余：规律性的结构可由先验知识和背景知识得到

编码器的选择
视频编码器经历了数十年的发展，已经从开始的只支持帧内编码演进到现如今的 H.265 和 VP9 为代表的新一代编码器，下面是一些常见的视频编码器：
1）H.264/AVC
2）HEVC/H.265
3）VP8
4）VP9
5）FFmpeg
注：音频编码器有Mp3, AAC等。

编码完成后需要将编码后的文件以一种标准进行封装生成某种格式的媒体文件，下面是几种常见的封装格式：
1）AVI 格式(后缀为 .avi)
2）DV-AVI 格式(后缀为 .avi)
3）QuickTime File Format 格式(后缀为 .mov)
4）MPEG 格式(文件后缀可以是 .mpg .mpeg .mpe .dat .vob .asf .3gp .mp4等)
5）WMV 格式(后缀为.wmv .asf)
6）Real Video 格式(后缀为 .rm .rmvb)
7）Flash Video 格式(后缀为 .flv)
8）Matroska 格式(后缀为 .mkv)
9）MPEG2-TS 格式 (后缀为 .ts)
目前，我们在流媒体传输，尤其是直播中主要采用的就是 FLV 和 MPEG2-TS 格式，分别用于 RTMP/HTTP-FLV 和 HLS 协议。

四、推流
采集好的音视频文件需要被推流至一台或一个可以提供媒体服务的集群服务器上进行流分发，说的传输就必须要涉及到传输的协议：

推送协议主要有三种：

RTSP（Real Time Streaming Protocol）：实时流传送协议，是用来控制声音或影像的多媒体串流协议, 由Real Networks和Netscape共同提出的；
RTMP(Real Time Messaging Protocol)：实时消息传送协议，是Adobe公司为Flash播放器和服务器之间音频、视频和数据传输 开发的开放协议；
HLS(HTTP Live Streaming)：是苹果公司(Apple Inc.)实现的基于HTTP的流媒体传输协议；

RTMP协议基于 TCP，是一种设计用来进行实时数据通信的网络协议，主要用来在 flash/AIR 平台和支持 RTMP 协议的流媒体/交互服务器之间进行音视频和数据通信。支持该协议的软件包括 Adobe Media Server/Ultrant Media Server/red5 等。
它有三种变种：
RTMP工作在TCP之上的明文协议，使用端口1935；
RTMPT封装在HTTP请求之中，可穿越防火墙；
RTMPS类似RTMPT，但使用的是HTTPS连接；

RTMP 是目前主流的流媒体传输协议，广泛用于直播领域，可以说市面上绝大多数的直播产品都采用了这个协议。
RTMP协议就像一个用来装数据包的容器，这些数据可以是AMF格式的数据,也可以是FLV中的视/音频数据。一个单一的连接可以通过不同的通道传输多路网络流。这些通道中的包都是按照固定大小的包传输的。

五、拉流
将音视频推流至流媒体服务器后，就完成了直播的第一步，接下来就有一个发布的中心，所有人可以来这个发布的地址拉去视频流，实际提供服务的产品有很多，
比较有名的有：
流媒体解决方案 Live555 （C++）
流媒体平台框架 EasyDarwin （C++，国产精品）
实时流媒体播放服务器程序DarwinStreamingSrvr （C++)
Flash流媒体服务器 Red5 （Java）
流媒体服务器 Open Streaming Server （Java）
FMS流媒体服务器 （Adobe，收费的）
Wowza流媒体服务器（Java）
开源流媒体平台FreeCast（Java）
nginx+RTMP插件
其中Wowza也是收费的，如果你要用于商业用途的话需要购买官方的正版liences
，你可以先通过官方申请一个测试为期1个月的liences

六、CDN分发加速
这部分算是直播，点播技术能够广泛的传播的重要因素

七、解码播放
使用播放器可以将拉取到的数据流进行解码并播放
PC端：VLC比较广泛使用并且很好用的播放器
移动端：ijkplayer播放器

当然我说的每一个点都比较粗略，大概介绍一下实现原理，别的不多BB，直接开始使用公有云平台提供的服务，腾讯云LVB和阿里云（ApsaraVideo Live）
实践出真知，先从腾讯云开始：
首先，我们需要有一个实名认证后的企业或个人账户，然后需要点击申请开通直播服务（默认是没有开通的）

等待审核，官方告知的时间是3-5个工作日，当然这个是可以通过提交工单等方式来催促加速开通的。
服务开通后我们就可以开始进入直播控制台

详细的内容就不做介绍了，只要实际操作都很直观，直接切入正题，主要能够提供直播服务的核心在“接入管理”，接入管理下拉后会有两种接入方式：
1、直播码接入；
2、频道托管；

就像截图中提示的一样，直播码接入属于推荐哦，那就是官方想让你用的版本，说白了这个直播码的模式对于用户来说定制化更高，可以更加灵活的供用户使用接入到自己的直播平台中，但是实际上还是推荐先使用频道托管的模式，为啥？更直观呗！！！
进入托管频道开始

直播赠送5个免费推流频道， 正在推流并发频道数超过5个时(不包括未推流频道)，按照每月并发实际推流频道峰值数减去5个免费频道收费。 超出部分收取60元/视频/月的费用
点击创建频道

标有星号的项目都要填写，基本也没有什么大的注意的地方，需要留意的是如果你的直播提供多码率的播放的话，你需要将编码部分的转标清和转高清勾选，这样才能提供多码率的播放地址，否则有只有原始码率的资源可供播放
还有水印部分，腾讯云提供全局设置，全局设置中可以自定义你的水印logo

OK，就这样建好一个频道，我们进入频道查看一下

设置开通完频道后我们会发现腾讯默认是采用RTMP协议来推流的，别问我为什么知道，看看生成的直播源设置一栏，有什么有价值的部分吗？当然，这里面有价值的部分就是直播源设置这一栏，直播源设置中有地址

这个地址的构造有一定的规律，实际产品中，您不可能为每一个主播手工创建推流和播放 URL，而是要由您的服务器自行拼装，只要符合腾讯云标准规范的 URL 就可以用来推流，如下是一条标准的推流 URL，它由三个部分组成：

防盗链签名怎么生成的呢？实际这个部分不是很关键，但是还是说一下，防盗链签名这部分是由直播频道ID加过期时间戳MD5得到的，过期时间戳是采用UNIX时间的形式，比如说：
频道ID：10905947996256980784
过期时间戳：1531728131
防盗签名：MD5（109059479962569807841531728131）=70d4526324ee4c97bd8e1c1238ad4338，生成32位小写签名
其他的其实没有什么了，可以直接推流测试下，那推流怎么推呢？最简单的方式直接使用开源的推流工具OBS，OBS是什么？百度一下你就知道，具体推流工具的设置也不多做说明，需要说明的是得到这个频道的地址后如何将推流端的数据流推到腾讯云？
点击OBS的设置

弹出对应的设置窗口，感兴趣的话可以都点开看下会有什么具体设置，我们要做的只是点击“流”，设置具体的推流地址

那用上面的那个地址为例rtmp://11179.livepush.myqcloud.com/live/11179_db358fa730db11e892905cb9018cf0d4?bizid=11179
流类型选择自定义流媒体服务器，URL填live前面的部分
rtmp://11179.livepush.myqcloud.com/live/
流名称填余下部分
11179_db358fa730db11e892905cb9018cf0d4?bizid=11179
流名称默认需要隐藏，也可以显示。
然后点击保存，这样推流的地址已经配置好了。
接下来我们要做的就是为直播找一个直播的源头，在来源一栏中点击“+”号弹出以下菜单

直播的来源很多，我们不全部说明了，这里就说最常用的两个，一个是媒体源，一个是视频捕获设备，媒体源顾名思义就是添加一个本地的资源传上去让他播放呗，视频捕获设备就是调用你的摄像头拍你呗。
话说源头也有了，如何播放呢？早就都准备好了

点击分享URL，然后直接把URL甩在浏览器上就ＯＫ了！！！

当然这样看起来有些突兀，因为只是一个直播窗口，但是实际情况窗口是在开发过程中嵌套在网页中的，类似这样：

这样就实现了直播的功能，实际情况下，可以把腾讯这边提供的这个服务当做是一个黑盒，开发的过程中只需要将其嵌套进去就可以了，同样也支持着移动端的开发，以及视频加密这些小功能。
既然频道托管模式已经说了这么多，那直播码接入方式就不需要多说了，照着这个来就可以了，没有太大的区别。
附一个腾讯的计费说明
https://cloud.tencent.com/document/product/267/2818