音视频技术开发周刊 | 195

Posted 2021-05-21 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

小提示：链接跳转仅支持公众号相关链接

基于深度学习的实时噪声抑制——深度学习落地移动端的范例

在实时通讯技术迅猛发展的今天，人们对通话时的降噪要求也不断提高。深度学习也被应用于实时的噪声抑制。本次LiveVideoStackCon 2021 上海站中，我们邀请到了声网Agora音频算法负责人冯建元老师为我们分享深度学习落地移动端的范例，遇到的问题和未来的展望。

当我们扩张时——技术商业策略圆桌第一弹

在 LiveVideoStackCon 2021 上海站当中，我们策划了一个由三场圆桌组成的“技术商业策略”专题，并邀请到微帧科技的联合创始人&CEO 朱政作为专题出品人，与来自工业界、学术界，甚至是投资领域的嘉宾聊了聊未来的多媒体技术、大厂们深耕与扩张的阻碍，以及音视频新创的生存境遇。

AV1硬件采用及未来发展

在开放媒体联盟（Alliance for Open Media,AOMedia,AOM）中，硬件和软件开发人员共同创建了AV1标准规范。本次分享我们邀请来自谷歌的高级产品经理Roshan Baliga，他将从什么是AV1、AV1硬件的采用、AV1的开发以及商业测试、软件解码，以及其对AV1生态系统的重要性等方面来介绍AV1的硬件。

即构科技廖念波：构建产品矩阵，加快音视频技术全面开花

音视频技术在直播、语聊、游戏等泛娱乐领域早已有了大量深度应用，在互联网教育领域也已成为标配，到金融行业的视频双录、线上营业厅，保险行业的视频开户、用来开早会，随着各行业信息化的不断深入，音视频技术的数字化程度越来越完善。LiveVideoStack特别采访了即构科技技术副总裁廖念波，请他以后台技术老兵的角度，讲述了他对视频云PaaS服务后台架构、运营，以及音视频行业的理解。

GB28181协议简介及实践

GB28181协议是视频监控领域的国家标准，本文将解析如何在FFmpeg中增加对GB28181协议的支持，使其可以与支持GB28181协议的设备进行通信与控制，实现设备的注册、保活以及流媒体的传输。

使⽤云函数和 Headless Chrome 进行实时渲染录制合流

Chrome 不只是⼀个浏览器，还可以是⼀个渲染引擎和混流器，而 Headless  Chrome 更是打开了浏览器在服务器中使⽤的场景，让我们不仅可以把多个 WebRTC 的视频画⾯录制下来，还可以把⽩板，各种动画⼀起同步的录制下来，完成⼀个所见即所得的页面录制合流⽅案。 

2021年15个流媒体直播趋势

在这篇文章中，我们将谈论在2021年掀起波澜的15大流媒体直播趋势，讨论直播如何影响几个不同的行业，以及直播技术如何演进。

音频采集：Android 基于 OpenSL ES 的实现

这篇文章简单介绍下移动端Android系统下利用OpenSL ES进行音频采集方法。

深入浅出，Andorid 端屏幕采集技术实践

随着全球产业链线上化和数字化的加速，移动端实时屏幕共享在各行各业场景下都有了广泛的应用，比如在线教育、视频会议、远程业务咨询、手游直播。而屏幕采集则是实现实时屏幕共享流程中的第一步，本篇技术分享就来跟大家讲讲拍乐云在 Andorid 端屏幕采集的经验实践。

仅需2张图，AI便可生成完整运动过程

先给一张侧脸图（关键帧1），再给一张正脸图（关键帧2），然后仅仅根据这两张图片，AI处理了一下，便能生成整个运动过程。而且不只是简单的那种，连在运动过程中的眨眼动作也“照顾”得很到位。效果一出，便在Reddit上引发了不少热议。

TensorFlow 助力：AI 语音降噪打造 QQ 音视频通话新体验

本文基于 TensorFlow 平台搭建了一个 AI 降噪与噪声场景分类的并行训练框架。借助 TensorFlow Lite 的量化功能减小模型尺寸，在模型的降噪效果基本不受影响的前提下，极大提升了性能优势并成功部署到产品中上线。

WebRTC要不要从0开始？PION/ION闲述

作为在IT行业里搬砖的打工人，自始至终都持有一个疑问：别人造的轮子圆，还是自己造的轮子更圆？。大部分IT人正是在这种极度自卷的，违反人性的怀疑与自我怀疑中艰难度日，不断地创造着属于自己的轮子，并努力地分享出来，以求与别人家的轮子相比较，一争高下。即便穷尽所有头发，只为他人的一颗颗小星星。所以才有了GitHub这种对社会向前滚动进步有巨大促进意义的网站的存在。也间接促进了IT内卷人，跨国界的进行同性交友、比拼技术。

量化策略再思考，数据压缩新技巧

在本文中，我们首先分析了之前常用于端到端训练的三类量化方案所遇到的问题：加性均值噪声会受到训练测试不一致问题的影响，直接梯度回传和从软到硬的退火方案由于在训练过程中缺少正则项，以及训练会遇到例如偏移梯度或者不稳定梯度的影响，最终会削弱编码网络隐层空间的表达能力。

CSIG 3DV专委会 [成果速览] 2021年第11期

上海交通大学发表在TPAMI2020上的论文从图信号处理的角度出发，提出基于图信号梯度特征的点云质量评价模型，其性能明显优于现有基于点的质量评价模型。

视频云系列 - 谈谈XR关键技术及VR/AR/MR/XR关系

虚拟现实（Virtual Reality，VR）、增强现实（Augmented Reality，AR）等业务以其三维化、自然交互、空间计算等完全不同于当前移动互联网的特性，被认为将是下一代通用计算平台。自 2012 年谷歌发布 AR 眼镜 Google Glass, 2014 年 Facebook 收购 VR 头显厂商 Oculus 以来，VR/AR 行业历经了 2015 年至 2017 年的创业和资本的狂热，2018 年的行业退潮。随着 2019 年底全球 5G 正式展开部署，VR/AR 作为 5G 核心的商业场景重新被认识和重视，行业重回升势。

“意念打字”速度接近常人手机聊天，专家：这比马斯克的“猴子玩游戏”难多了

5月12日，《Nature》发布最新一期封面研究：斯坦福大学的研究人员开发了一项新的脑机接口技术，能够使瘫痪患者直接将脑海里的“想法”转换为电脑屏幕上的手写文字，“打字”速度突飞猛进！

AI应用，隔空打开-放大-关闭图片

这是由外国小哥分享的项目，通过手势打开图片，将选择区域放置在图片上，切换手势即可隔空将屏幕中的窗口打开-放大-关闭。

MPEG第134次会议进展

MPEG第134次会议于2021-04-26至2021-04-30在线举行。MPEG视频组批准了第一个用于多媒体应用的神经网络压缩国际标准。

声网Agora 与 HTC 达成合作，赋能下一代 AR 与 XR 技术创新

全球实时互动云服务开创者和引领者声网Agora（纳斯达克股票代码：API）宣布与 HTC 达成合作。作为 HTC VIVE®独立软件供应商（ISV）计划的一部分，此次合作将加速在实时互动应用中实现 VR 技术的创新。HTC VIVE 持续打造领先的虚拟现实（VR）平台与生态，致力于为企业和消费者创造身临其境的沉浸式 VR 体验。ISV 合作伙伴计划能够帮助开发者在 HTC VIVE 的 VR 和 XR 生态系统中创建应用程序和平台，并无缝集成声网Agora 的实时音视频、实时消息、互动直播等技术。

插图源自Pexels