音视频技术开发周刊 | 224

Posted 2022-01-05 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

高性能且灵活的 iOS 视频剪辑与特效开源框架 – VideoLab

随着移动互联网时代的到来，短视频成为了最流行的内容载体，而内容的产生离不开视频剪辑与特效创作工具。本次LiveVideoStackCon 2021 音视频技术大会 北京站，我们邀请到了RingCentral Video 移动端架构师——阮景雄，他向我们分享了AVFoundation视频剪辑框架，以及VideoLab框架的设计与实现。

挑战与机遇并存，阿里云面向下一代的音视频引擎和传输网络架构

阿里云下一代音视频引擎的设计和落地，将从微内核架构的设计、媒体引擎的构建、算法的插件化管理，新引擎在核心指标上的优势等方面入手。在LiveVideoStackCon 2021北京峰会，阿里云智能视频云高级技术专家陈虓将，讲述了阿里云在包大小、内存、CPU，以及直播、会议、点播一体化SDK对人效的提升实践，同时从阿里云服务端GRTN网络的整体架构和核心技术点出发，透传了阿里云视频云团队最新的算法创新思考。

视频编码器的智能化——AI辅助编解码的ASIC解决方案

在此次LiveVideoStackCon 2021 音视频技术大会 北京站，来自镕铭半导体的刘迅思详细列举了目前常用的AI辅助编解码的方法，论述如何在硬件和软件层面将AI结合编解码的实践，探索新的标准和新一代编码器结合AI应该如何设计。

华为云媒体质量管理最新实践——“视镜”

对全球不可靠的互联网络和大容量分布式系统的挑战，如何以用户为中心，从可用变得更好用，追求更流畅、更清晰、更快、更省的极致用户音视频体验？LiveVideoStacCon 2021 北京站邀请到华为云媒体服务资深研发专家——康永红，为大家分享华为云媒体服务在追求极致用户体验质量道路上的沉淀成果——“视镜”。

优化 Dav1D

本次演讲介绍了 AV1 的软件解码器 dav1d 的一些优化进展，关于特定编码工具的解码优化、HDR/10bit 内容的优化、更好的多线程优化。最后，在 Q&A 中提到，软件解码器基本上是启动生态系统，希望一年或两年后，我们都将使用硬件解码器。

浅析 MediaCodec 工作原理
MediaCodec类Android提供的用于访问低层多媒体编/解码器接口，它是Android低层多媒体架构的一部分，通常与MediaExtractor、MediaMuxer、AudioTrack结合使用，能够编解码诸如H.264、H.265、AAC、3gp等常见的音视频格式。

MediaCodec编码OpenGL速度和清晰度均衡
在安卓平台为了实现h264视频编码，我们通常可以使用libx264, ffmpeg等第三方视频编码库，但是如果对编码的速度有一定的要求，要实现实时甚至超实时的高速视频编码，我们并没有太多选项，只能使用Android提供的MediaCodec硬编码模块。MediaCodec模块在实际使用中会遇到很多问题，本文主要讨论使用MediaCodec来对OpenGL渲染的画面进行编码视频时，如何达到速度快和画面清晰的均衡。

WebRTC 系列之 GPU 方案的探索与落地

WebRTC（Web Real-Time Communication）是一个支持网页浏览器进行实时语音对话或视频对话的 API。W3C 和 IETF 在2021年1月26日共同宣布 WebRTC 1.0 定稿，促使 WebRTC 从事实上的互联网通信标准成为了官方标准，其在不同场景的应用将得到更为广泛的普及。WebRTC 提供了视频会议的核心技术，包括音视频的采集、编解码、网络传输、显示等功能，并且还支持跨平台：Windows，Mac，iOS，Android。本文主要介绍基于 WebRTC 的基础搭建视频前后处理框架，探索 GPU 方案与 RTC 场景的结合落地。

苹果AR眼镜密器疑曝光！索尼VR头显双眼8K超高清，元宇宙「伴侣」震撼出场

日前，索尼在一场「科技日」活动中展示了一款搭载单眼4K Micro-OLED显示屏的VR头显原型。带上这款头显，可以看到丝滑而且超高清的画面。据索尼研发人员在Youtube视频中介绍，此次亮相的VR原型头戴设备使用远程高分辨率技术和低延时传输系统，实现现实与感官间的「无缝」视频体验。另外，据苹果分析师郭明錤透露，苹果计划2022年Q4发布旗下首款AR头显设备，搭载Sony索尼的4K Micro OLED显示屏。根据预测，苹果的AR头戴设备将具备「Mac 级计算能力」、不受限制的操作的能力，支持广泛的应用程序，而非仅支持专有应用。

计算机视觉中的传统特征提取方法总结

本文对计算机视觉传统方法中的一些特征提取方法进行了总结，主要包括有：SIFT(尺度不变特征变换)、HOG(方向梯度直方图)、SURF、ORB、LBP、HAAR

通过传感器计算打造视觉雷达，下一代自动驾驶系统的关键构成

2021年10月25日，特斯拉市值站上万亿美金，成为美股第五家市值破万亿的企业，几乎超过美股全部主要车企市值的总和。特斯拉在资本市场的成功，刺激着投资者的神经，也促使市场再一次将视野聚焦在自动驾驶领域，进一步思考自动驾驶技术路线的发展方向。本文希望从技术角度客观分析和回答以下问题：自动驾驶等级提升需要解决什么关键问题？怎样的自动驾驶方案更加具有实现大规模无人驾驶的可能性？自动驾驶作为现实世界的AI问题，难点在哪里？以上问题促使我们理性客观地思考该如何去实现自动驾驶——这一承载了太多期望、不断挑拨大众神经的技术生产力变革，从而推动行业冷静且务实地向前发展。

---

阅读推荐

音视频的发展

本次演讲中，Andrew 借用了经济学上的康德拉季耶夫长波模型，回顾了专业视听行业的发展过程。AIMS (Alliance for IP Media Solutions) 是一个开放的、非营利性的组织，致力于促进采用一套通用的、无处不在的、基于标准的协议，以实现媒体、娱乐和专业视听 (pro AV) 行业的 IP 互操作性。

从游戏机、计算机、智能手机的过去五十年 看VR和AR的未来五十年
本篇文章作者从元宇宙入手，揭示了元宇宙与AR/VR之间的关系，认为元宇宙其实就是AR和VR的硬件发展，然后用户通过这些硬件使用的软件得到的体验就是元宇宙。作者认为我们所进入的新的50年会是一个三维世界，这是我top-down（自上而下）对这件事的理解，是50年对50年的事情。因此先从游戏机、计算机、智能手机的过去五十年讲起，再来看VR和AR的未来五十年将会如何发展。

【报告】元宇宙系列白皮书——未来已来：全球XR产业洞察
Metaverse元宇宙创造了一个用户与家人、朋友、宠物、喜爱的物品和体验都被虚拟连接的全新环境，是下一代社交世界的载体。Metaverse包含5G、AI、区块链、内容制作等多种元素，其核心是通过虚拟体验XR（Extended Reality，扩展现实），XR技术及设备的持续迭代来不断优化用户的数字化生活体验；基于 XR的数字化服务将围绕各类场景不断渗透，将为颠覆性沉浸式的元宇宙数字生活体验带来突破，成为开启元宇宙时代的重要载体。德勤中国科技、传媒和电信行业推出元宇宙系列报告的第一篇《元宇宙系列白皮书—未来已来：全球XR产业洞察》，聚焦XR产业发展趋势，从市场需求与发展的角度探讨XR市场的投资潜力与投资机会。

---

活动推荐

【城市沙龙】LiveVideoStack Meet|上海：流媒体无处不在

上海一直是国内音视频领域领跑城市之一，良好的发展环境给多媒体人才提供了优质平台和展示机会。2021年已进入倒计时，在多方共同努力下，我们将在12月18日落地上海，也感谢声网提供场地支持。除老朋友外，本次LiveVideoStack Meet上海也邀请到新面孔与大家见面，分享内容干货满满，不容错过！

活动时间：12月18日 14:00-17:15

活动地址：上海市杨浦区淞沪路333号 创智天地3期12号楼6楼

报名地址：https://8392623630544.huodongxing.com/event/4626493248800

---

插图源自Pexels