音视频技术开发周刊 | 204

Posted 2021-08-16 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

小提示：链接跳转仅支持公众号相关链接

XK265：开源视频编解码硬件IP核

本文来自复旦大学微电子学院教授范益波在LiveVideoStackCon 2021上海站的演讲内容，分享从硬件和软件的区别切入，详细介绍了硬件编码器的硬件微架构，面向与芯片实现的X1编码器和面向与FPGA实现的K1编码器，以及开源版本的视频编码器。

OTT交付如何超越传统广电交付，为用户带来高质量视频网络——对话Synamedia流媒体技术发展经理卢彦林

Synamedia是一家专门为付费电视运营商提供端到端解决方案的公司，在全球范围内拥有众多知名客户。每天有一亿用户通过Synamedia产品搭建的网络收看一百多万个视频广播节目。LiveVideoStack近日采访了Synamedia流媒体技术发展经理卢彦林，他拥有超过十年的视频处理行业经验，目前在Synamedia主要负责OTT业务。9月的LiveVideoStackCon音视频大会上，卢彦林老师将带来精彩演讲。

RTP诞生记

RTP和RTCP是处理所有多媒体传输的重要协议，于1996年1 月在RFC 1889中定义。在本篇文章中，RTP协议的作者之一Ron Frederick将为我们讲述这个如此重要的协议是如何诞生的。

【线上圆桌 - 科天云】兼容海量设备、应对复杂网络

后疫情时代，云会议已经被越来越多的企业熟知、使用，正在成为企业数字化办公的“新基建”，而支撑云会议的底层技术，RTC、音视频技术等也备受关注，正在赋能更多行业提升数字化管理和无接触服务能力。本次邀请到科天云研发中心总经理张军分享RTC中的两大难点：兼容海量设备和应对复杂网络，分享科天云在其中的客户需求洞察、技术思考和技术创新实践。

技术解码| 基于ijkplayer的快直播传输层SDK应用实践

快直播是对标准直播边缘进行WebRTC改造的一种低延迟直播产品方案，在低延迟的同时，完全兼容标准直播的推流、云端媒体处理能力，并具有CDN强大的分发能力。客户可以从现有的标准直播平滑地迁移到快直播上来，快速实现低迟时直播场景应用。

穿越防火墙的奥秘：ICE协议详解

“后”疫情时代，以线上为主的学习、工作、交流、娱乐方式成了常态，这一现象背后是实时音视频技术的不断创新和突破。为了给企业和开发者提供极致的音视频体验，拍乐云技术团队除了采用广布 DC，将服务下沉到最后一公里之外,  还会根据应用场景切换技术方案，如果仅有两个终端参与通信，会选择媒体直连方案以降低服务器开销。现在的电脑和设备通常都位于防火墙之后，无法简单建立直连，于是防火墙穿越技术应运而生。穿越防火墙的技术方案多种多样，本文将详细介绍其中一个框架——ICE协议，帮助大家掌握防火墙穿越的基本流程。

基于学习的视觉数据压缩技术和标准

本文来自PCS会议（2021）的一次Keynote，演讲者是来自腾讯的Shan Liu，题为“Learned Visual Data Compression Technologies and Standards”。主要对基于学习的视觉多媒体信息压缩及其历年标准提案进行了综述。

面向VMAF的HEVC感知率失真优化

HEVC / VVC 等视频编码框架中的率失真优化（RDO）模块均使用SSE作为失真准则，没有充分考虑人类视觉系统的特性。近期，Netflix开发了学习类客观质量指标 VMAF，并已被证明比传统指标更准确。为将VMAF结合至RDO以提高感知编码效率，我们提出了一种基于 CNN 在线训练的感知RDO方案，由关键帧准确计算得到的VMAF相关系数被用于训练和推导后续帧的VMAF相关系数，该系数最终在RDO中被用于调节编码块的拉格朗日乘子。

ICME2021：实时VVC软件解码器

2020年7月VVC标准正式发布，在相同主观质量下VVC相比HEVC能节省50%的码率，但是复杂度也大幅提升。本文提出了对VVC解码器进行优化的方法，利用SIMD指令集和并行处理方案能在基于x86的CPU上达到4k 60fps的VVC实时解码速度。

视频编解码器标准化和生态系统进展

本文来自PCS 2021的一次Keynote，演讲者是来自Intel的Jill Boyce，演讲题目是“Video Codec Standardization and Ecosystem Update”，主要介绍了视频编解码器的标准化和进展。

【线上圆桌 - 263】视频会议终端到终端的加密

本次分享，将针对当前各类终端加密场景，分别介绍基于WebRTC的会议、SFU模式的会议以及WebRTC SFU模式的会议数据加密的异同。

多媒体前端技术入门指南

随着直播视频平台的快速崛起和发展，前端衍生出了多媒体技术方向，各公司的传统前端团队里陆续出现了一支新军：Web多媒体团队。光看团队Title，这应该是一个拥有前端×多媒体交叉领域稀有技能的群体。

说说 FFmpeg 和 H264 视频编解码的那些事

做CV的人经常面对的东西之一就是用ffmpeg处理视频，本文聚焦的就是ffmpeg和H264视频编码的一些概念和命令。因为实际使用的时候大多数的人都会遇到一些比较困惑的问题，比如ffmpeg截取视频为什么做不到帧级的精确。不管怎样，本文还是属于偏工程方面的论述。

HTTP自适应流会走向何处？

本文来自PCS会议（2021）的一次Keynote，演讲者是来自ATHENA的Christian Timmerer，主题是“HTTP自适应流会走向何处”。

论文推介：基于稀疏度量的端到端语音识别模型加速

语音识别（Auto Speech Recognition, ASR）技术是一种将连续的语音信号转化为文本的技术，近年来，随着深度学习的蓬勃发展，端到端（End-to-End，E2E）语音识别技术以其简单的体系结构和优异的性能广受青睐。近期出门问问联合西工大音频语音与语言处理研究组（ASLP@NPU）研发的WeNet工具包，具有简洁性、易用性和易部署的特点。

深入探索视频帧中的颜色空间—— RGB 和 YUV

接触前端音视频之后，需要掌握大量音视频和多媒体相关的基础知识。在使用 FFmpeg + WASM 进行视频帧提取时，涉及到视频帧和颜色编码等相关概念。本文将对视频帧中的颜色空间进行介绍。

webgl渲染Yuv420P图像

Yuv420P格式在安防视频中非常常见，因为H264或者H265解码之后，就是这种格式。YUV定义了三个分量：“Y”表示明亮度（Luminance或Luma）也就是灰度值。U和V表示色度。

时空联合3D降噪算法理论分析

作为最主要的多媒体传播载体之一，视频图像的质量问题得到了越来越多的关注，这就要求我们不但要不断完善传统的视频图像像素域去噪技术，而且还要进一步展开对新的视频图像降噪算法的研究与开发，比如近几年发展迅猛的转换域视频图像降噪算法。

探秘HDR：西瓜、抖音是如何做到让视频的画质堪比影院大片的？

相比于此前业内通用的SDR（Standard Dynamic Range，标准动态范围图像），HDR图像能够呈现的明暗细节更多，色彩更丰富，能够最大程度地还原真实场景。 

从AR光学开始，了解AR眼镜

尽管所有人都认为AR会变成像智能手机一样强大，但是我们至今仍未能够在市面上看到一款令人满意的AR眼镜，这样庞大的投入和关注都未能带来一款撑得起口碑的产品，AR眼镜的难点究竟是什么？

特斯拉纯视觉FSD版本Bug频发！马斯克：不认真测试的车主就取消资格

马斯克多次承诺又多次跳票的特斯拉“全自动驾驶套件”FSD 9.0 beta可算来了。这次最大的改动莫过于采用纯视觉路线。一直坚称不要激光雷达的马斯克，这回连毫米波雷达也抛弃了，只靠摄像头。另一项改进是让自动辅助导航驾驶可以用于城市道路。最后是在UI上，去掉了之前版本密密麻麻的目标检测框，新版的渲染效果让人眼看起来更舒服。

汇总|CVPR 2021 自动驾驶相关论文

CVPR 2021全部论文已经放出，网址https://openaccess.thecvf.com/CVPR2021?day=all。特总结自动驾驶相关论文（包含自动驾驶workshop)，文章虽然不多，但是产生了两篇最佳论文候选，都出自Uber ATG。

视觉激光雷达信息融合与联合标定

本文主要介绍了关于视觉和激光雷达进行信息融合相关内容，包括相机标定，摄像头与激光雷达联合标定，信息融合节点等等。利用激光雷达和视觉信息融合,我们可以结合二者的优点优化障碍物检测或交通标志的识别，以及优化其他相关任务等等。

阅读推荐

2021中国AI产业10大趋势，一分钟看明白 | WAIC2021

中国AI产业，现状到底几何？在逛了足足3天的世界人工智能大会（WAIC）之后，与之相关的一幅全景图，逐渐浮现了出来。

《工业互联网综合标准化体系建设指南（2021版）》（征求意见稿）发布，推动边缘计算标准体系构建与示范应用

边缘计算是工业互联网网络体系和平台体系的重要支撑技术，有效推动工业数据纵向集成及实时处理，已经成为工业互联网云边网端协同的关键枢纽环节。2021年7月7日，工业和信息化部、国家标准化管理委员会组织编制《工业互联网综合标准化体系建设指南（2021版）》（征求意见稿），其中多项举措涉及边缘计算，将推动边缘计算标准体系构建与示范应用，详情……

干货 | 2021年中国边缘云计算行业展望报告

边缘云计算构筑在位于中心云与终端之间的边缘基础设施之上，是云计算能力由中心向边缘的下沉，强调通过云边的一体化、协同管理来解决在集中式云计算模式下所无法满足的业务需求。2020年中国边缘云计算市场规模为91亿元，预计到2030年中国边缘云将增长至接近3000亿元。本报告从核心价值、驱动因素、商业模式、应用场景、落地难点、竞争要素、产业格局等方面对边缘云计算行业展开研究，力求勾勒边缘云计算的全景图，并以十年为期展望行业的发展阶段，为供需双方提供有价值的参考。

活动推荐

2021年GIAC全球互联网架构大会策划了24个技术专题，邀请了84+架构师、技术负责人与会进行分享，深度解密2021年的最新架构演进和技术发展趋势，为IT从业人员带来前后端架构实践案例、技术方案以及技术管理经验。

专题方向覆盖架构、AI、运维、管理、安全、数据中台、微服务、DevOps等，组委会届时会携手100余位来自阿里、百度、华为、快手、腾讯云等一线互联网资深架构师及CTO为主的大咖讲师，进行深入的技术解读，希望通过2天，84+落地实践与前沿技术案例，可以为大家带来一场收获之旅。扫描图片二维码即可获取GIAC大会PPT资源包一份。

插图源自Pexels