流媒体服务中视频压缩技术的应用和前景探讨

Posted 2021-11-05 TSINGSEE

在实时音视频领域，视频压缩是非常重要的技术。TSINGSEE青犀视频不断优化系统，从H264到H265的支持，也是在视频压缩上下功夫，增强用户体验。而现在，5G基础设施已经日趋完善和普及，新的视频应用场景不断在拓展，视频压缩技术也在迭代。

为了确保视频流的高质量和高传输效率，新型的视频压缩技术要求我们考虑到存储、编解码、算力和带宽等因素在内的各项因素，还要在画质、码率和性能之间做平衡。

目前在视频压缩的研究方面，主要是基于人工智能的深度学习技术和端到端的视频压缩框架。深度学习技术替换混合编码框架模块，可用于码率分配、块划分以及帧内预测和帧间预测。以帧间预测为例，实验结果表明，与 HEVC 相比，基于深度学习所提出的方法在low delay P 配置下，能达到平均1.7%（最高为8.6%）的码率减少。端到端的视频压缩框架最新研究成果是对现有深度学习视频压缩，只能利用少数的参考帧进行压缩的问题，研究人员提出了重复自编码器和重复概率估计模型。

这些技术目前都还不稳定，还需进一步开发和研究，但即便如此，依靠该技术依然可以衍生各种功能，同时也拥有着非常广阔的应用前景：

1、采用深度学习网络替换视频压缩的混合编码框架，可以提高编码效率，在 WebRTC 中具有重要的应用价值；
2、深度强化学习网络对码率进行分配，将改善在使用 WebRTC 视频传输中的卡顿现象；
3、基于深度学习的带宽估计模型也将比传统的带宽估计方法更有优势。

除此之外，不同的场景人们的关注重点会有所不同。此处我们以智慧交通为例，要对交通监控视频进行高效压缩，就必须根据该场景特点，将背景区域和运动区域细致区分。交警对于违章车辆的关注点是车牌号，车牌号是否清晰，将直接影响执法证据的收集是否有效。因此，在带宽有限的情况下，确保兴趣关注区域的质量是视频压缩技术的关键。