科普:如何应用视觉显著性模型优化远控编码算法?

Posted 贝锐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了科普:如何应用视觉显著性模型优化远控编码算法?相关的知识,希望对你有一定的参考价值。

远程控制的核心原理,说白了就是类似传输视频那样,将被控端图像远程传输至主控端,同时通过主控端输入指令实现远程控制。由此可见,远程控制之所以能在各种场景应用中流畅的进行,其图像编码策略起到的作用是十分关键的。

那么,作为国民级的远程控制软件,向日葵远程控制是如何在图像编解码策略上实施优化,进而提升远程控制体验的呢?本文就为大家介绍一下向日葵是如何通过引入视觉显著性理论,构建基于场景特征的编码策略模型,优化整个远控编解码算法的。

通用视频编码器用于远程控制的边际效应明显

目前,很多远程控制软件仍然在使用通用的视频编码器。通用的视频编码器主要面向自然风景,生产生活等视频场景,为获得指定比特率下最小的失真,编码器会进行几十次算法模型的预测计算,花费极高的性能和时间代价。而且,编码效率越高算法复杂度越大,应用在远程控制场景下的边际效应十分明显。

 AVC,HEVC,VVC等通用编码框架的边际效应

在远程控制场景中,电脑/手机屏幕显示的图像元素往往相对简单,视频的帧内/帧间编码有很大的时间/空间冗余,这些都可以进一步压缩。据此,向日葵提出了基于应用感知和视觉显著性的全新编码策略,这一策略也是向日葵自研边际算法“SADDC”算法的重要构成策略之一。

应用焦点区域与视觉显著性概念优化资源分配

向日葵基于应用焦点区域与视觉显著性概念提出的编码策略,之所以能够优化远程控制场景下的体验,核心原理在于优化比特资源的分配,向重要的区域倾斜资源,提升编解码效率。

那么如何界定远控过程中的“重点区域”呢,向日葵引入应用焦点区域与视觉显著性概念。

应用焦点区域比较容易理解:即根据当前激活的窗口窗体,并结合用户的键盘鼠标动作和光标位置,判定焦点区域。编码时,在指定的比特率下,为焦点区分配更多的比特使它更清晰,同时,降低非焦点区的编码复杂度,减小比特分配,节省编码时间。

图注:正在使用vscode编辑文档(右下),其他程序在播放视频,vscode判定为应用焦点区

视觉显著性概念则基于人眼对于图像和色彩信息接受度的研究,通过算法动态判定视觉显著区,进而对重点区域进行资源倾斜。

何为“视觉显著区”

人类对于视觉信息处理的能力是有限的,100亿视神经细胞中真正能够处理视觉信息的并不多,有研究表明,人类有效视觉如果按带宽计算仅相当于8Mbps。

说的直观一点,肉眼视觉下我们的注意力只能集中在视觉中心少数的目标上,其他的都是“余光”。而人眼的注意力会不自觉的被一些视觉上显著的元素吸引,这些元素所在的区域就是“视觉显著区”。

如何判定“视觉显著区”呢?1998年,南加州大学的Itti 提出基于颜色,亮度,方向三种视觉特征的显著值计算。模拟生物对图像注视点的选择性注意模型。2012年,Stas Goferman进一步提出了Context-Aware Saliency Detection算法。基本确立了判定视觉显著区的四项准则:

● 从局部特征出发,参考对比度、颜色等因素

● 识别重复特征和有特异性的特征,后者的显著性较高

● 根据Gestalt laws,视觉组织形式通常有一个或多个显著中心

● 人脸、规则物体、认知物体具备高优先级。

 视觉显著区判定

而Context-Aware计算的基本流程由“图像输入-局部单一特征显著性计算-全局多特征融合提升显著性-Context-aware修正-高级特征修正”构成。

 Context-Aware显著图效果(※未添加人脸识别)

根据上述基本准则和流程,可以计算出图像中视觉显著区的位置,向日葵将这一结果与前文中应用焦点区的判定相结合,在对图像进行编解码的过程中,就可以根据相关结果动态向视觉显著区域倾斜资源,从而提升远程控制的体验,同时降低资源的占用。

总结:对自研算法的不断探索造就技术领先

在近年来远程办公等需求常态化的背景下,远程控制领域有着越来越多的玩家入局,在国内作为“守擂者”的向日葵之所以能够长期以来保有稳定的优势,与其对于自研算法的不断探索是分不开的。

本文介绍的向日葵基于应用焦点区域与视觉显著性概念的编码策略,正是其针对远程控制细分场景自研的“SADDC”算法的核心策略之一。

在核心技术的加持下,向日葵每次版本的更新都能够成功在流畅度、帧率、清晰度等方面站上一个新的台阶,推动远程控制领域的不断进步。

贝锐资深产品总监此前就表示:焦点区和视觉显著区在远程控制场景中有重要价值,在通用算法瓶颈越来越明显的大背景下,向日葵的视频编码算法仍然可以获得较大的编码效率空间,这种以场景为中心的算法演进,是贝锐“连接无处不在”使命的技术基础。

以上是关于科普:如何应用视觉显著性模型优化远控编码算法?的主要内容,如果未能解决你的问题,请参考以下文章

科普:如何应用视觉显著性模型优化远控编码算法?

2018年6月8日论文阅读

使用Tensorflow2.0执行视觉显著性检测(Visual Saliency Detection)

视觉显著性顶尖论文总结

求助probit模型的边际效应

paper 27 :图像/视觉显著性检测技术发展情况梳理(Saliency DetectionVisual Attention)