小谈音视频质量检测

Posted 2021-12-05 声网Agora

本人从一位测试的角度出发，基于目前项目中摄像头的直播和语音对讲业务，正寻求音视频的质量测试及一些监控分析手段。工作中发现达到一定的并发程度之后，就会出现延时、卡顿、丢帧、马赛克等问题。所以最近在网上看看专家的直播和专栏，学习一下行业内的好的测试方法。

这不，前几天有幸参与了声网的音频算法工程师赵晓涵的关于《实时语音质量监控系统的过去、现在和未来》的在线直播和讨论。本次直播旨在介绍一下声网实时语音质量监控系统的进展，并和大家交流了一下未来的演化方向。

整理了一下，本次直播主要的内容主要涵盖了以下几个模块：

1、过去：语音质量评估算法

2、现在：线下测试的线上化

3、未来：感知、反馈和监控一体化

一、过去：语音质量评估算法

其中，过去的语音质量评估算法主要介绍了有参考客观评价方法、无参考客观评价方法和主观评价方法。

一千个观众会有一千个哈姆雷特，主观评价方法暂且不论。有参考客观评价方法中应用最广泛的有 P.862 PESQ、PESQ-WB 这两种。12 年左右推出了最新的有参考评价方法 P.863 POLQA，它是基于 PSQM 的升级改造。它们都主要依赖无损的参考信号。而无参考客观评价方法无需参考信号。其中的 ANIQUE+据作者称，其准确度超过有参考的 PESQ，这一点也很有意思。

客观评价方法的痛点：

1、有参考方法：只能用在上线前

2、无参考方法-传统信号域：应用场景窄，鲁棒性差

3、无参考方法-传统参数域：仅在有限弱网条件下可以保持精度

4、无参考方法-深度学习：应用场景和语料有限，复杂度高（信号域）

在语音质量评估算法这一方面，我们真的是小白。基于目前业务的，主要覆盖还是功能测试、接口测试和流媒体的部分性能测试。利用现有算法对语音质量进行评估，暂时可能还不会做。

2、现在：线下测试的线上化

直播中赵晓涵老师在这一块主要回顾了下在设计这个系统前的目标，和目前上下行链路的主要问题和解决方法。

现有的评估系统的设计目标：

1、精度高：评估结果可靠

2、覆盖业务场景广：游戏、娱乐、教育等业务场景

3、算法复杂度不能太高：不会对性能造成很大的降低

4、和语音内容弱相关能力：不管输入是语音、音乐还是噪声，分析结果不能受影响。

下行主要有这几个流程：编码、传输、解码、播放

下行侧的质量评估方法也是主要根据上面四个模块展开的：

1、编解码器性能：不同的编解码器对不同的语料处理结果不一样

2、网络传输：丢包、抖动和延迟等

3、弱网对抗算法质量：丢帧补偿

4、设备的外放能力：设备硬件差会对音质有所损伤

这一部分内容深有感触，我们目前用到的摄像头来自海康、大华、雄迈、TPLink 等好几个厂商，同个厂商又有多种型号。不同设备都有硬件差异，就连基本的国标接入都会有些许异常，更别说在音视频上的表现了。目前我们平台所用的视频编码正从 H264 到 H265 转变，音视频质量测试显得格外重要。

而网络传输也是我们目前的性能测试经常遇到的瓶颈，尤其是是视频文件上传 s3 存储会很大程度受限于上行的带宽。另外还有使用 udp 传输，不可避免得造成数据的丢包等问题。

不同的终端设备，对音频外放的音质也不尽相同。这一点我们在兼容性测试时已经有所发现。

三、未来：感知、反馈和监控一体化

对未来的系统的目标：

1、内部状态更细：上行链路细节待优化。

2、体验覆盖更广：目前有些噪声还未能覆盖，待优化。

3、反馈速度更快：目标在 1 分钟内能收到反馈。

4、覆盖通话更全：目标是每一秒都能监控到。

一个覆盖广，响应快，又精准的平台会是所有平台的平台的目标，希望能早日看到平台给音视频质量检测行业带来更大的促进。