TSINGSEE青犀视频平台可以实现音视频混流吗？

Posted 2021-06-26 TSINGSEE

很多直播场景都会涉及到音频流和视频流的同时传输，这里就衍生出了混流的概念。在我们TSINGSEE青犀视频云边端产品中，也提到过音视频播放的概念，该混流概念和音视频同步播放的概念不同，EasyNVR、EasyCVR这类产品的音视频流同步播放是指用户可以通过拾音器将前端设备的音频连同视频一起播放，或者用户自身上传音频，作为视频的背景音乐播放。而本文讲到的混流是把多路音视频流混合成单流。

音视频的混流在视频流媒体当中是比较耗费CPU的行为，由于过程涉及到多路流的实时转码，在耗费CPU的同时也会占用大量时间。我们之前讲到EasyDSS在转码过程中会占用大量CPU，但是可以通过缓存来缓解这种情况，而音视频混流转码却无法避免这种的发生，根据网络情况的良莠，还会产生一定的延迟。

目前在音视频流媒体混流方面，我们也在寻找一些对抗网络抖动等不确定因素的方法，在尽量降低延迟的同时，还要保证视频的流畅和音画的同步。即便目前音视频混流的技术还不够成熟，但是由于其种种优势，我们仍在攻克这类难题。

音视频混流的优势包括：

1、适应回放需求

很多项目都涉及到音视频流的录制，以备监管抽查或者观众回放，此种情况如果不进行混流的话，录制的时候只能录制到其中一路音视频流，也就是只能看到其中一个主播的画面。

2、转发分发需求

我们碰到很多项目团队都有通过音视频流地址的HLS链接进行转发的需求，由于一个链接地址指挥对应和指向一路视频流，为了便于多个视频流的转发，此种情况下也是需要进行混流的。

3、高度兼容性

视频播放器播放视频流都是只能单路播放，而要一个播放器同时播放多个视频流，则要进行混流，同时也是扩展了视频流的兼容性。

TSINGSEE青犀视频平台在处理音视频混流方面还未上线，但是将来可能会在此进行技术延申和拓展，如果大家有兴趣欢迎关注我们，同时也欢迎了解TSINGSEE青犀视频云边端架构中的各类产品。