音视频技术开发周刊 | 199

Posted 2021-06-28 LiveVideoStack_

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了音视频技术开发周刊 | 199相关的知识，希望对你有一定的参考价值。

每周一期，纵览音视频技术领域的干货。

新闻投稿：contribute@livevideostack.com。

小提示：链接跳转仅支持公众号相关链接

为了全面提升淘宝直播体验和互动能力，淘系技术团队联合阿里云经历三年时间打造了首个全链路RTC实时传输网。在时延、成本、抗弱网等指标均取得巨大提升。本次邀请到阿里巴巴淘系技术资深技术专家陈举锋老师（丰火），为我们介绍GRTN的技术演进路线及未来规划。

Netflix 如何大规模使用 eBPF 流日志进行网络洞察

Netflix 开发了一个名为Flow Exporter的网络可观察性 sidecar ，它使用 eBPF 跟踪点近乎实时地捕获 TCP 流。这种高性能的 sidecar 仅占实例上不到 1% 的 CPU 和内存，可大规模提供流量数据以进行网络洞察。

https://netflixtechblog.com/how-netflix-uses-ebpf-flow-logs-at-scale-for-network-insight-e3ea997dca96

IETF：QUIC Version 1 (RFC 9000) 作为标准化版本现已发布

QUIC已被广泛部署和使用，可提供更低的延迟、更高的安全性和更强大的数据交付。

万万没想到，TRTC还能这么玩

国内的用户肯定驾轻就熟，鹅的QQ\\微信\\腾讯会议早就让大家拥有了这份快乐。其实，支持这些功能的底层技术，就是 TRTC，不仅可以支持超低延时的实时互动，还拥有屏幕共享、AI降噪、互动白板、美颜滤镜等特性。

机器视觉编码技术与标准进展

本文整理自中国电信研究院新技术所机器视觉标准与应用研究部主任张园在LiveVideoStack做的线上分享。她详细介绍了VCM、DCM等标准组织机器视觉编码标准化工作最新进展、技术创新思路。

音乐编解码器的更新情况

在我最近关于高分辨率音频播放器以及为它们提供内容的服务和外部DAC和放大器的报道中，我意识到我向我的读者抛出了很多新的可能不熟悉的术语。自从我上一次深入介绍无损和有损音频压缩标准以来，已经有一段时间了，确切地说，是20年！而且世事变迁，所以这个简短的更新可能是迟来的。

Android 获取 FFmpeg 执行进度

在以命令方式调用 FFmpeg 的时候，可能会执行一些比较耗时的任务，这时如果没有进度展示，用户可能会以为程序崩溃了，体验十分不好。能不能在以命令方式调用 FFmpeg 时实时获取执行进度呢？谷歌关键词 “Android FFmpeg 命令” 可以得到很多教程，但加上关键词 "进度"就没有相关文章了，看来以命令方式调用 FFmpeg 实时获取执行进度这个需求没有前人的肩膀可站，要开动自己的小脑筋了。

揭秘视频千倍压缩背后的技术原理之预测技术

随着5G的成熟和广泛商用，带宽已经越来越高，传输视频变得更加容易。设备特别是移动设备算力的提升、存储容量的提升，使得视频技术的应用越来越广泛，无论是流媒体、泛娱乐、实时通信，视频都带给了用户更加丰富的体验。

使用 AVIF 压缩网站图像

AVIF 是一种基于 AV1 视频编解码器的图像格式，并由开放媒体联盟标准化。与其他图像格式（如 JPEG 和 WebP）相比，AVIF 提供了显着的压缩增益。

https://web.dev/compress-images-avif/

实时交互式视频流的 5 个军事和航空航天用例

事实证明，支持任何配置、任何规模和任何距离的实时交互式视频流对于越来越多的与军事和太空行动相关的应用来说都是非常宝贵的。

https://www.red5pro.com/blog/5-military-and-aerospace-use-cases-for-real-time-interactive-video-streaming/

CVPR 2021 | 基于Transformer的端到端视频实例分割方法

实例分割是计算机视觉中的基础问题之一。目前，静态图像中的实例分割业界已经进行了很多的研究，但是对视频的实例分割（Video Instance Segmentation，简称VIS）的研究却相对较少。而真实世界中的摄像头所接收的，无论是自动驾驶背景下车辆实时感知的周围场景，还是网络媒体中的长短视频，大多数都是视频流信息而非纯图像信息。因而研究对视频建模的模型有着十分重要的意义，本文系美团无人配送团队在CVPR2021发表的一篇Oral论文: 《End-to-End Video Instance Segmentation with Transformers》的解读。

https://tech.meituan.com/2021/06/03/cvpr-transformer.html

风多大都能让你听见，这个视频制作APP帮你告别「全损音质」

「你说什么？风太大我听不见！」这句大家经常拿来玩梗的话其实在现实中也经常发生，尤其是在短视频的录制过程中。风声、雨声、机器声…… 每一种噪声都可能让你的视频拥有「全损音质」。

未来AI将会在这10个方向升级｜腾讯优图联合厦大发布趋势预测

近日，在杭州举办的2021全球人工智能技术大会上，腾讯优图联合厦门大学正式发布了《2021十大人工智能趋势》（以下简称“趋势报告”），基于双方长期对人工智能尤其是计算机视觉的研究洞察，对3D视觉技术、数字内容产业、AI深度学习算法、AI内核芯片等方向进行了分析预测。

谷歌让AI芯片学会“下崽”，下一代TPU就让AI自己设计

设计一块AI芯片有多难？这么说吧，围棋的复杂度10360，而芯片则是102500，你感受一下……一般来说，工程师们设计一块芯片，少则需要几周，多则好几个月。现在，AI生产力来了！AI自己动手，竟然用6小时就设计出一块芯片。最近，这项谷歌的研究登上了Nature杂志。

技术的真相：让手机夜拍也精彩的原理竟然是...

智能手机、智能相机已经成为我们记录生活，留住美好瞬间的重要工具。但是每次在暗光环境中按下快门后，你是否担心照片满是像素点、“鬼影”重重、一片模糊？不过，你又是否发现，如今的手机夜拍已经做到即使暗光拍摄都能清晰可见。其实，图像质量的变高，都离不开对相机ISP参数的调试，本期“技术的真相”将带你揭秘让夜拍越来越精彩的神奇技术背后的实现细节。

基于CDN边缘网络智能优化图片和视频

本文由Akamai高级技术顾问——何明聪在LiveVideoStack线上分享演讲内容整理而成。在分享中，何明聪老师结合Akamai图片和视频优化方案及具体实践经验，详细解析了如何在无需修改源站代码的前提下，通过自动化的工作流程在CDN边缘网络智能优化图片和视频。

视觉方案好几种，我为何更看好双目视觉

双目立体视觉是机器视觉的一种重要形式，它是基于视差原理并由多幅图像获取物体三维几何信息的方法。双目立体视觉系统一般由双摄像机从不同角度同时获得被测物的两幅数字图像，或由单摄像机在不同时刻从不同角度获得被测物的两幅数字图像，并基于视差原理恢复出物体的三维几何信息，重建物体三维轮廓及位置。双目立体视觉系统在机器视觉领域有着广泛的应用前景。

“应游戏而生”的DLSS或将成为VR内容的未来

DLSS（深度学习超级采样）是英伟达开发的一项AI渲染技术，目前已有多款PC游戏如《彩虹6号》、《荒野大镖客》等游戏均支持DLSS技术让图像质量得到提升，重新定义了高品质游戏视觉体验。

自动驾驶技术分级标准微调，全球竞争格局一夜剧变

大洋两岸的自动驾驶竞速，出现技术标准层面的新变量。在刚刚更新的自动驾驶全球通用SAE分级标准中，增加了远程驾驶相关定义，并且删除L4、L5级别中“不需要干预”的说法。通俗的讲，就是熟悉的5G云代驾。这意味着，全球通用的自动驾驶分级标准，首次承认了5G云代驾在自动驾驶中的合理地位。

火山引擎召开品牌发布会，对外开放字节跳动核心技术

6月10日，在低调运行一年后，火山引擎在北京首次召开了品牌发布会。发布会上，字节跳动副总裁、算法与数据技术负责人杨震原发表了题为《字节跳动的增长没有秘密》的演讲。他在会上表示，中国企业正在加速向数字化、智能化转型，字节跳动基于数据驱动等理念所沉淀的技术工具和架构，有着广泛的应用前景，能够帮助企业更好地抓住技术红利。此外，开放技术也能提升科技公司的创新力。

Twitch、Pinterest、Reddit等在Fastly CDN中断中出现故障

无数热门网站，包括 Reddit、Spotify、Twitch、Stack Overflow、GitHub、gov.uk、Hulu、HBO Max、Quora、PayPal、Vimeo、Shopify、Stripe 以及新闻媒体 CNN、卫报、纽约时报、BBC 和金融时代目前面临中断。据《金融时报》的一位产品经理称，Fastly是一家受欢迎的 CDN 提供商，被认为是故障原因。Fastly 已确认其状态，网站面临中断。

https://techcrunch.com/2021/06/08/numerous-popular-websites-are-facing-an-outage/

谷歌自研芯片，替换数百万颗英特尔CPU

Google 设计了自己的新处理器Argos 视频（转）编码单元 (VCU：video (trans)coding units)，他们推出这个芯片的目的只有一个：那就是处理视频。高效的新芯片使这家技术巨头能够用自己的芯片替换数百万个英特尔 CPU。

阅读推荐

Even the stars die：MPEG的历史以及它如何让数字媒体成为现实

本书主要讲述了运动图像专家组 (MPEG) 是如何构思、建立和引领多媒体生态的故事。

https://www.amazon.com/dp/B096G6TSF9/

活动推荐