技术分享| 复盘一起看球场景

Posted 2022-12-28 anyRTC

卡塔尔世界杯已经落幕，作为“后新冠时代”的首个大型全球体育赛事，也同时被多个“史上首次”与“历史之最”所装点，但同时也是国内疫情的高峰期，相信大多数人都是顶着高烧咳嗽跟好友线上看完了总决赛，对于线上互动一起看球赛需要哪些技术呢？我们一起来探索下吧~

一起看架构

线上看球赛用户不仅可以观赛，还可以在直播间通过文字、表情、礼物等形式传达对于球赛的热爱，甚至也可以开通房间邀请好友一起观赛，边看边聊，真实还原线下看球场景。

在anyRTC 方案中，有二种方法可以实现一起看场景，第一种是实时音视频方案，另一种是基于CDN+RTC实时音视频方案。

实时音视频方案

通过纯 RTC 方式 实现，即主播、上麦观众采用 RTC 推流，麦下的观众则通过 RTC 拉流的方式来进行观看与互动，球赛通过插入媒体流功能转换为一路RTC流，实时分发给麦上和麦下用户。

此方案的优势在于麦上麦下延迟平均在 200ms 以内 ，观众频繁上下麦的体验更好且无异步感 。而此类方式比较适合观众对低延时要求高的直播房间。

CDN+实时音视频方案

CDN+实时音视频 方式实现，即主播、上麦观众采用 RTC 推流，主播端需要把本地音视频和远程上麦用户的音视频以及直播球赛的画面在转播出去（CDN旁路推流出去），而麦下观众则通过 CDN 拉流观看和互动。

该方案是在原来推拉流架构下无缝加入实时互动的方案，可以复用原有的代码模块，但劣势在于延迟会达到2s以上，同时上下麦会有一段时间（2s左右）不同步的现象。

合流方案

CDN+实时音视频方案里，必须要进行合流，一起看的场景中，一般都是一路视频源（球赛的直播源）+ 音频连麦数据，anyRTC 提供2中合流方案，一种是本地合成，一种是服务端合成，开发者可以根据自己的实际情况去选择。

业界领先的实时互动技术

面对不断创新的社交泛娱乐场景，anyRTC 拥有丰富的 API 组合，可以帮助开发者快速创建各类实时互动场景，极致的音视频体验是业务玩法获得用户认可的必要条件。在一起看场景中，我们面对着本地直播音频被麦克风采集形成回声、使用通话模式导致直播音质变差、比赛声音比聊天声音大导致人声听不清楚等问题，这些问题都严重影响了用户的边看边聊体验；为了解决相关问题，我们使用了直播音频托管 RTC 播放、全链路音频媒体通道模式等方案，为一起看提供了良好的音视频体验。

3A算法+AI降噪算法消除噪音与回声

anyRTC 拥有业界领先的 3A 算法，智能适应各类环境，全面消除回声，并提供超一流的双讲表现；可在不损伤语音音质的情况下，有效消除各类噪音；可实现音频的自动增益，即使在嘈杂环境下用户也能体验优异。同时anyRTC 的 AI 降噪算法将心理声学与深度学习技术相结合，通过特征提取、神经网络以及增益调整对实时音频进行处理抑制噪声，突破了传统信号处理方案的性能瓶颈，从而为实时音视频提供清晰语音环境。

音频托管 RTC 播放

在CDN+实时音视频方案中，主播和连麦双方需要一边播放直播源，一边进行RTC通话，在这种情况下，RTC 播放的远端人声和直播播放器播放的比赛声音会被麦克风采集后发送到远端形成回声。

为了解决一起看场景的回声问题，RTC 和播放器提供了播放器音频托管由 RTC 来播放的解决方案，由播放器将解码后的直播音频数据调用 RTC 音频托管接口来播放；在 RTC 内部，直播音频会和远端用户音频进行混合，再调用系统音频播放接口进行播放，同时将混合信号送到 RTC 回声消除模块，回声消除模块会将麦克风采集到的声音中的远端音频和直播比赛声音消除，这样就得到了没有回声的本地人声数据，这些数据会在编码后送到远端，避免了回声问题的出现。

全链路音频媒体通道模式

在移动端设备上，音频播放区分通话模式（通话模式音频通道）和媒体模式（媒体模式音频通道），二者在音质表现、音量控制上略有不同，从而适用于不同的业务场景， 具体表现如下：

为了给用户提供更好的音质体验，一起看场景可以配置音频媒体模式；为了解决外放媒体模式时系统回声消除效果差的问题，anyRTC 内置回音消除算法，开发者可以根据上麦与否动态打开回声消除算法，在保障聊天回声消除条件下，达到了高音质体验。

总结

anyRTC 一起看场景解决方案，可通过实时音视频方案，也可以通过CDN+实时音视频方案。合流方案可以通过客户端合流，也可以通过服务端进行合流。使用直播流音频托管给 RTC 播放的方案，解决了双端同时播放直播流音频引入的回声问题；使用外放媒体模式 + 软件 3A 方案，在兼顾回声消除基础上保障了高音质边看边聊体验。

“一起+”的社交玩法会拓展其他场景，一起看电影、一起打比赛等。通过线上一起，让相隔千里的人们有了随时互动的机会和媒介，拉近好友间的距离。