音视频技术开发周刊 | 215

Posted 2021-10-22 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

小提示：链接跳转仅支持公众号相关链接

许键树：华为云视频直播在各细分场景的体验指标优化实践

本文来自华为云媒体服务直播产品经理 许键树在LiveVideoStack公开课的分享，结合华为云在直播领域的实践经验，详细解析如何对直播卡顿率、秒开率、延迟等关键指标进行深度优化，以满足各类直播场景的不同诉求。

以史为鉴，看媒体技术未来升级之路(LVS Meet Talk)

上周末受LiveVideoStack主编包研邀请，参加了LiveVideoStack Meet北京站的一场沙龙，做了一场“以史为鉴，看媒体技术未来升级之路”的演讲，主题内容延续一贯以来不能算特别严谨的个人观察和想法，也把当时的一些原稿放出来，大家多拍砖，求同存异。

LiveVideoStack Meet回归北京站：未来会更卷吧？

9月25日，新回归的LiveVideoStack Meet第一站在北京举行，嘉宾们分享技术、趋势与如何应对内卷的思考。

历经5代跨越25年的RTC架构演化史

随着移动互联网普及和疫情叠加，实时通信技术（RTC）一时间成为炙手可热的技术方向，RTC从1996年开始到如今已经发展成为一个非常复杂的技术领域，其包含了网络传输、全局调度、媒体处理算法、媒体编解码、信令协议、输入输出设备、Web、操作系统等相关的技术，至今为止发展了25年。这期间伴随互联网发展经历了多次技术迭代，从网络通信架构演化过程来看可把它分为5个阶段（这里称为5代），每个阶段RTC从终端技术到通信架构都有大的技术变化。

灵光一现的创造——霍夫曼编码

作为一名科学家和老师，我真的非常执着。如果我觉得自己还没有找到问题的最简单解决方法，我会非常不满意，这种不满会一直持续，直到我找到最佳方法为止。对我来说，这就是科学家的本质。——David Albert Huffman

用于 HTTP 自适应比特率流的高效多编码算法

在这篇文章中，作者研究了各种多编码算法（即多速率和多分辨率），并为大规模 HTTP 自适应流部署提出了新颖的多编码算法。实验结果表明，与独立编码相比，所提出的针对最高压缩效率优化的多重编码算法将整体编码时间减少了 39%，比特率增加了 1.5%。与独立编码相比，其优化版本可最大限度地节省时间，将整体编码时间减少 50%，比特率提高 2.6%。

基于CNN的质量感知环路滤波

本次演讲主题为基于 CNN 的质量感知环路滤波，主讲人主要阐述了一种基于卷积神经网络的新型环路滤波器，用于提高 VVC 的编码效率。在该滤波器中，通过为生成质量图作为网络的额外输入，实现仅使用一个神经网络模型处理所有不同质量和分辨率的视频，同时保持编码效率，降低整个网络的复杂度。实验结果表示所提出的方案在 AI 配置下实现了平均 6.27%、18.78% 和 20.42% 的 BD-rate 节省，在 RA 配置下实现了平均 5.18%、21.95% 和 22.13%的 BD-rate 节省。

音视频终端引擎优化实践

本文由百度智能云-视频云终端技术架构师 ——李明路，在百度开发者沙龙线上分享的演讲内容整理而成。内容从音视频终端引擎的概念出发，梳理了音视频终端引擎的发展和技术演进，重点介绍了音视频终端引擎的关键技术组件，分享了开发过程中的经验与实践。

一层卷积能做啥？BOE告诉你：一层卷积可以做超分！

本文是京东方团队关于端侧超分的深度思考，以端侧设备超分为切入点，对经典上采样与深度学习超分之间的“空白”地带进行思考，提出了一类“一层”超分架构（脑洞真的太大了），并对所提方案与其他轻量型超分方案以及bicubic从不同角度进行了对比，同时也为未来端侧超分算法的设计提供了一个极具价值的参考点。

“智感超清”之HDR技术落地实践

本文由百度智能云-视频云音视频处理技术架构师——邢怀飞，在百度开发者沙龙线上分享的演讲内容整理而成。内容从百度智能视频云的核心竞争力：“智感超清”出发，梳理了智能视频云相关的产品概念和技术。在详细介绍了HDR技术的概念基础上，结合相关“智感超清”能力，重点分享了HDR技术的应用实践。

提前90分钟、一块GPU一秒预测降雨概率，DeepMind ML天气预报登Nature

借助机器学习，DeepMind 又在降雨预测领域「祭出了大招」。身处英国的顶级 AI 研究机构 DeepMind 近日与气象机构合作撰写并在《nature》上发表了一篇关于天气预测的论文，指出人工智能有望在不断变化的环境中帮助人们应对决策挑战。

[ACM MM 2021] 基于深度学习的图像水印去除

随着互联网时代的兴起，图片的版权保护得到了广泛的关注；为了声明图片的所有权， 人们设计了各式各样的水印图片并以一定的透明度加注到原始图片中。然而，加注水印的图片也会存在一定的风险，即水印可以被图像还原工具去除；由此，我们可以通过去除水印的程度评估图片中的水印的有效性。本文介绍实验室被ACM MM2021接受的一篇水印去除论文。

特斯拉自动驾驶中的AI技术

本视频介绍了特斯拉自动驾驶中的AI技术。(中英字幕)

自动驾驶车辆在结构化场景中基于HD-Map由粗到精语义定位

鲁棒准确的定位是机器人导航和自动驾驶车辆的重要组成部分，而利用相机在高精地图（HD map）种进行定位则提供了一种低成本的定位传感器，现有的方法大多由于容易出错的数据关联性或初始姿势要求准确性而导致位姿估计失败。在本文中，我们提出了一种经济高效的车辆定位系统，该系统使用相机作为主要传感器，在具有高精地图环境中用于自动驾驶，为此，我们将基于视觉的定位描述为一个数据关联问题，将视觉语义信息映射到高精地图中的路标。

美团分布式自动驾驶引擎

经过数年的积累，美团无人车已经从技术探索进入到业务运营阶段，这个阶段对于自动驾驶车端系统和离线系统都有了新的要求。

08 / LiveVideoStack主编观察：开源RTC的机会来了吗？

还有让RTC圈更卷的方法吗？有啊，开源、免费走起。前几天，连响在WebRTC群里分享了一个新项目Livekit，同时也是一家公司(https://livekit.io/)。

专访 | Zoe Liu：早点儿创业不好么？

你有“创业梦”吗？是否还在坚持？

北京时间9月28日晚20点，国内最大的音视频社区LiveVideoStack就【创业】主题与微帧科技联合创始人兼首席科学家Zoe Liu进行了一次深度对话，以下是对话内容，根据问题略有调整。

插图源自Pexels