音视频技术开发周刊 | 230

Posted 2022-02-12 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

Opera视频出海非洲面临的技术挑战及应对

Opera是一个主要业务在海外的公司。非洲地区，基础设施差，网络带宽小，人均收入低。如何在非洲地区做好视频分发传输是需要一定的市场、技术深耕。本次LiveVideoStackCon 2021 音视频技术大会北京站，我们邀请到了Opera的技术副总监——张建磊，为我们带来Opera在非洲面临的技术挑战和解决办法。

牛赞：音视频前端跨平台技术应用

Flutter是近两年大火的跨终端框架，实时音视频因为疫情的缘故也越来越融入到人们的日常工作生活中，如线上会议、在线教育等。两者结合起来可以碰撞起什么样的火花呢？利用Flutter实时音视频SDK，我们可以快速开发一个跨平台的会议、娱乐、教育等APP。LiveVideoStackCon 2021北京站邀请到腾讯云高级工程师——牛赞，为我们分享利用Flutter如何进行实时音视频渲染，并深入底层，优化视频渲染的性能。

声网AI降噪测评系统初探

音频质量的优化是一个复杂的系统工程，而降噪是这个系统工程中的一个重要环节，传统的降噪技术经过几十年的发展已经陷入了瓶颈期，尤其是对非平稳噪声的抑制越来越不能满足新场景的需求。而近几年以机器学习/深度学习为代表的AI技术的崛起，为特殊场景下的音频降噪带来了新的解决方案。

Vulkan 在 FFmpeg 中的支持

周末时候看到一篇推送说 FFmpeg 升级到 5.0 版本了。其中提到 FFmpeg 引入了 Vulkan 驱动的新滤镜，用于视频水平、垂直翻转。

M3U8 格式：为什么直播回放都用这个格式？丨音视频基础

M3U 文件是一种纯文本文件，可以指定一个或多个多媒体文件的位置。它的设计初衷是为了播放音频文件，但后来越来越多的用于播放视频文件列表。而 M3U8 则是用 UTF-8 编码的 M3U。M3U、M3U8 文件都是苹果公司使用的 HLS(HTTP Live Streaming) 协议的基础。

metaRTC集成到ffmpeg实现srs的webrtc拉流播放

ffmpeg是一个强大的音视频处理软件，处理各种音视频的编解码和传输等，里面还集成有ffplay播放器等。metaRTC新版本支持静态编译集成到ffmpeg，使ffmpeg支持webrtc。

https://blog.csdn.net/m0_56595685/article/details/122594797

FFmpeg 5.0 正式发布

近日，FFmpeg 5.0正式发布。这一新版本代号被命名为“Lorentz”，主要为纪念伟大的荷兰物理学家亨得里克·安顿·洛伦兹（Hendrik Antoon Lorentz）。此次重大发布包括大量API更改，并增添了一些新的特性。

EVC，VVC，LCEVC 测试：最新的 MPEG 编解码器性能如何？

本文测试了一系列编解码器，结果显示 VVenC 在低于预期的复杂度下提供了高质量。EVC 编解码器达到了它们的质量目标。但此二者都难以很快在软件中播放，必须等待硬件支持来部署它们。LCEVC 在 30% 的编码时间内提供了比全分辨率 x265 更好的质量，并具有相同或更好的播放效率。AV1 在质量上进一步领先，而 MainConcept HEVC FFmpeg 插件也比 x265 的表现好了近 20%。

通用场景下的开源优化 VVC 编码器

在 HEVC 标准发布七年后，通用视频编码标准 H.266/VVC 于 2020 年 7 月定稿。同样视频质量下相比 HEVC， VVC 可提供约 50% 的码率节省。为了提供比 VVC 参考软件 VTM 更快的运行速度，优化软件 VVenC 于不久后开源。VVenC 同样支持多线程、码率控制、主观质量优化等附加功能，并针对高分辨率下的 Random Access 模式做了优化。

FFmpeg-Window QT环境调试环境搭建教程1-3

第一篇文章介绍Qt 调试ffmpeg.c 工程，第二篇文章讲解如何自己编译出ffmpeg的dll，第三篇文章主要讲解，如何移植 ffmpeg 工程到 Qt creator环境进行断点调试。

https://juejin.cn/post/7052201703281524750

https://juejin.cn/post/7052206048685490207

https://juejin.cn/post/7052208992109461541

我国光纤传感技术的发展历程

本篇推文涵盖光纤概述，光缆概述，海底通信历史，光纤分类，光纤熔接，熔接费用，熔接机品牌选择等内容。

视频智能生产及内容分析应用工具开源了！

近年来，视频行业持续高速成长，带动数字经济新发展。在视频用户规模持续扩大的同时，产业对于海量多样视频内容的智能化生产及应用的需求也愈发明显。传统的处理方式需要耗费巨大的人力，智能视频内容分析和生产越来越受到业界的重视。

一些超棒的开源项目！

话不多说，让我们一起来看看这周有什么不错的开源资源吧！（排名不分先后）。

2021十大AR工业典型案例盘点：AR与工业，迎来深度融合

相比传统的电脑、手机，AR（Augmented Reality，增强现实）技术可以将2D或3D信息叠加到真实物体和现实环境中，革新了信息传递、显示、交互方式。在2022年开头，我们筛选复盘了2021年完结的十大工业典型应用案例，希望这些案例与经验，能给AR行业未来继续前行带来一些启示。

了解元宇宙—VR虚拟现实技术

如果说将元宇宙比作一个乐队的话，那么VR虚拟现实技术就好比是主唱，镜头前最多的是它，听到最多的是它，看到最多的还是它，我们看到所有与元宇宙相关的图片视频也好，电影作品也好，看起来都与VR虚拟现实技术的表述关联性最高，相似度也最高，那么，你真的了解虚拟现实技术吗?

增强现实（AR）到底如何应用于交互设计？

增强现实（AR）技术使用户在添加数字内容的同时看到现实世界并与之互动。我们可以通过智能手机，轻松下载 AR 应用程序并尝试这项技术。不过，体验增强现实还有另一种方式——使用特殊的 AR 头戴式设备，例如 谷歌眼镜，会将数字内容显示在用户眼前的一个小屏幕上。

大话实时视频编码中的人工智能（上）

本文是”大话实时视频编码中的人工智能“上集，简介了 AI 和 ML 的关系，介绍了神经网络的复杂度表征方法，回顾了视频编码的演变和复杂度，总结了一些现有的机器学习方法在视频编码中的应用。

大话实时视频编码中的人工智能（下）

本文是”大话实时视频编码中的人工智能“下集，讨论了为何神经网络还未能进入实时视频编码框架，介绍了神经网络加速方面的研究，总结了在编码领域已经接近实用的 AI/ML 技术。

腾讯自主研发动画组件PAG开源

PAG (Portable Animated Graphics) 是一套完整的动画工作流。它提供从AE导出插件，到桌面预览工具，再到各端的跨平台渲染SDK，助力于将AE动画方便快捷的应用于各平台终端。PAG目前是公司AVGenerator OTeam开源协同小组的核心组件之一，广泛应用于公司内外40余款主流APP或业务，涵盖UI动画、视频编辑、特效模板、服务端特效渲染等多个场景，于2022年1月开源至GitHub。

基于深度学习的超分辨率图像技术

如今已经有各种深度学习的超分辨率模型。这些模型依赖于有监督的超分辨率，即用LR图像和相应的基础事实（GT）HR图像训练。虽然这些模型之间的差异非常大，但它们本质上是一组组件的组合，例如模型框架，上采样方法，网络设计和学习策略等。

自动驾驶多目视觉感知

理论上说，双目系统已经可以解决3D信息获取的问题，那么为什么还需要多目系统呢？原因大致有两点：一是通过增加不同类别的传感器，比如红外摄像头，来提高对各种环境条件的适应性；二是通过增加不同朝向，不同焦距的摄像头来扩展系统的视野范围。下面我们就来分析几个典型的多目系统。

自动驾驶域控芯片内部架构与性能影响

自动驾驶芯片，本质上是一种包含处理器和控制器的高算力功能芯片，目前已量产商用的自动驾驶芯片基本处于高级驾驶辅助系统阶段，可实现L1-L2级辅助驾驶，通常这类自动驾驶域控制器所采用的芯片不需要太高的AI算力，更多的是应用逻辑算力进行相应的逻辑运算。

---

阅读推荐

未来已来，音视频江湖再起波澜

从通信为王的时代，到互联网高歌猛进的二十一世纪，音视频技术一直是众多科技公司的必备技能。一部手机联通全球各地，一个社交账号互动各国友人，已经不是什么新鲜事；就连超低延迟，超高清画质，沉浸式互动的元宇宙和全真互联，都在快速发酵，似乎马上就要被底层的摩尔定律催化过期。

2022 WebRTC发展趋势分析

本篇为WebRTC技术专家Tsahi Levent-Levi发布在BlogGeek.me上的文章，我们翻译了其中部分内容发布在LiveVideoStack的公众号上。感谢Tsahi的授权。

IDC FutureScape：中国人工智能及自动化市场十大预测

国际数据公司（IDC）于近日发布了《IDC FutureScape: 全球人工智能（AI）及自动化市场2022 预测——中国启示》报告。在报告中，IDC分析师团队描述了影响IT和业务决策者负责该项支出并有效利用相关解决方案的主要驱动因素，并给出了未来五年有关人工智能和自动化市场的十大预测。

无人驾驶自动驾驶智能汽车：理论，算法和实现（附150页PDF文件下载）

自动驾驶智能汽车是通用技术的集合，用以提高汽车自动或半自动驾驶的安全性为目的，从根本上讲，自动驾驶汽车就是若干移动机器人技术的集合，因此，自动驾驶汽车包含四项基本技术：环境感知与建模、定位与地图构建、路径规划与决策、运动控制。

---

活动推荐

LiveVideoStackCon 专题评审团活动报名

为了更加完善LiveVideoStackCon 音视频技术大会的演讲内容，如：准确性、逻辑性、可阅读性、内容的干货程度、以及对参会者的受益情况等，保证内容对外输出的准确&严谨；其次，对演讲者的自我提升（输出内容更加专业、降低错误、增加演讲自信、多方沟通促进交流）；而对参与审校人员来说，在评审内容时可以了解到业内的最新动态，与评审团成员相互交流，分享心得。

因此我们特别成立LiveVideoStackCon 评审团机制，点击阅读原文了解更多详情，报名参与：

http://livevideostack.mikecrm.com/mVxofCi