音视频技术开发周刊 | 133

Posted 2022-05-04 LiveVideoStack_

每周一期，纵览音视频技术领域的干货和新闻投稿：[e-mail]。

架构

蘑菇街云端直播探索——启航篇

随着移动网络速度提升与资费的降低，越来越多的用户逐渐接受了手机观看直播这一种娱乐方式。特别是最近这一两年，直播已经不仅仅被运用在传统的秀场、游戏类板块，在更是作为电商的一种新模式得到迅速成长。本文通过介绍云直播体系和直播中常用的协议，让你对直播技术有一个初步的认识。

https://juejin.im/post/5e4e2be151882548fd3059b9

在实时音视频中 Flash Video 的替代方案有哪些？

Flash是直播技术领域的基石，并且通过使用底层的RTMP协议，为当今的现状奠定了基础。通用流媒体平台Justin TV在转为游戏流媒体平台Twitch之前由Flash驱动。随着对实时视频需求的增长，Flash的局限性（依赖于插件，专有技术，性能问题等）被证明阻碍了实时流媒体的发展。

https://www.red5pro.com/blog/alternative-to-flash-video-for-live-streaming/

华为昇腾云服务与多媒体应用融合创新

华为云全新推出昇腾AI计算解决方案，并且从官宣的数据来看，在部分应用场景的表现均优于行业内其他产品。本文来自华为云异构计算服务的产品总监 赵刚在LiveVideoStackCon2019深圳站上的精彩分享，文章中详细介绍了华为云如何加速互联网视频、智慧零售、智慧园区、泛金融认证、智慧医疗等行业创新。

https://mp.weixin.qq.com/s/cvnVTfYi3PZ9jqaihRWE4A

WebRTC的推动者：Janus

本篇是来自FOSDEM 2020 Real Time devroom的演讲，演讲者是来自Meetecho的总裁Lorenzo Miniero，演讲主题是WebRTC的推动者：Janus。

首先作者介绍了Janus，Janus是一个开源通用WebRTC服务器，演讲者重点介绍了Janus中的RTP管理，即如何将其用作输入/输出以针对不同用例与外部应用程序进行交互。

https://mp.weixin.qq.com/s/FQqTTwYvbze6W31ivCoGEA

传输网络

为什么流媒体直播的延迟很高

通信技术的发展促进了视频点播和直播业务的兴起，4G 和 5G 网络技术的进步也使得流媒体技术变得越来越重要，但是网络技术并不能解决流媒体直播的高延迟问题，本文不会介绍网络对直播业务的影响，而是会分析直播中常见的现象 — 主播和观众之间能够感觉到的明显网络延迟。除了业务上要求的延迟直播之外，有哪些因素会导致视频直播的延迟这么高呢？

https://draveness.me/whys-the-design-live-streaming-latency

为什么 TCP/IP 协议会拆分数据

TCP/IP 协议簇建立了互联网通信协议的概念模型，该协议簇的两个主要协议就是 TCP 和 IP 协议。这两个协议不仅能够保证数据会从源机器的源进程发送到目标机器的目标进程中，还能保证数据的不重不漏以及发送的顺序。

https://draveness.me/whys-the-design-tcp-segment-ip-packet

修订RTC：机遇之海——通过紧密合作推进领域发展

本篇是来自FOSDEM2020 Real Time Communications devroom的演讲，演讲者是来自Open VoIP alliance的Ruben Homs，演讲题目是“AMENDMENT RTC: A sea of opportunities Advancing our field together through closer collaboration”。

https://mp.weixin.qq.com/s/zoXF6-6-3F8Tdsj7uKChxw

使用CGRateS建立ENUM服务器

本篇是来自FOSDEM 2020 Real Time Communications devroom的演讲，演讲者是曾在CGRateS担任了两年的全职核心开发人员的Teofil Voivozeanu，演讲题目是“Build your own ENUM serverusing CGRateS”。

https://mp.weixin.qq.com/s/XodbpI9S7K7ibuQYuWDOkw

Linphone即时信息加密

本文是来自FOSDEM 2020 Real Time的演讲，演讲者是Johan Pascal。演讲主题是Linphone即时信息加密。演讲分为四个部分，第一个部分讲述安全要求，第二个部分讲述协议概述，第三个部分介绍多设备环境下Linphone群组的集成，第四部分是中间人攻击检测。

https://mp.weixin.qq.com/s/Uh_e6frtY8FmyNFwJC4mEg

使用RIST或SRT进行实时云内容提取

本篇是来自SMPTE 2019的演讲，演讲者是来自Net Insight的Doug Shelton和Mikael Wånggren，演讲题目是“Live Cloud Ingest Using an Open Approach to RIST, SRT andRetransmission Protocols”。

https://mp.weixin.qq.com/s/xDPRqTZ_v29Rks-uOxZ-NQ

谈谈网络通信中的流量整形

前面的两篇文章《谈谈网络通信中的 ACK、NACK 和 REX》和 《谈谈网络通信中的 FEC 基础》介绍了网络通信中的丢包重传和 FEC 的相关理论和方法，他们都是在网络发生丢包的情况下的补救措施，本文则往前进一步，介绍下如何通过流量整形技术，尽可能地避免网络发生丢包。

https://mp.weixin.qq.com/s/qZM7D1_8wpFGFLh83KAzew

编解码

AV1编码尚未准备好进行实时流传输的3个原因

AV1是一种新的视频编解码器，具有非常有前途的前景，而这一点不能被充分强调。

https://www.red5pro.com/blog/3-reasons-why-av1-encoding-is-not-ready-for-real-time-streaming/

媒体，连接媒体及应用

在以加速步伐发展的多媒体技术领域，MPEG为本领域制定标准，我们很难对未来有一个清晰的计划（尽管MPEG有一个5年的计划）。

https://mp.weixin.qq.com/s/aKTOTM_8ZSYhbl3flG4_Jg

FFmpeg中的ROI encoding介绍

ROI encoding并不是一个新技术，诸如libx264、libvpx等软件编码器早已经提供了相应的支持，基于Intel GPU的libva也早已实现了相应接口。

https://mp.weixin.qq.com/s/C5H95NEIaDFDZB_2HedWFw

AVS3开源编码器 “天枢”（uAVS3e）发布，速度提升30余倍

AVS3开源编码器“天枢”（又名“uAVS3e”）1.0版正式在鹏城实验室iHub开源托管平台发布！与参考软件HPM相比，编码速度提升超过30倍，并且压缩效率没有损失。

https://mp.weixin.qq.com/s/NXwsJ5lKXLiCThlRTZUFbA

视频技术

前端如何实现整套视频直播技术流程

本文通过概念学习和介绍，理解了常见视频直播技术的整体架构流程，基于前端的角度去快速搭建了一套完整的直播网页的功能，当然其中还有很多不足和需要深入的地方，需要进一步探索，后续如果有更深入的技术沉淀，会继续形成文章进行分享！

https://juejin.im/post/5e53411fe51d4526fe650e00#heading-5

谷歌YouTube算法团队：视频质量评价的集成池化方法

随着移动互联网的发展，视频成为信息消费越来越重要的形式（这从国内外的YouTube、抖音的发展可见一斑），而其中用户贡献内容（UGC）往往占很大比例。

因为每个用户制作水平不同，UGC内容的视频质量是良莠不齐的，视频网站运营商不仅要对视频内容进行审核，对视频的画面质量审核也非常重要。所以自动化的视频质量评价应运而生。

https://mp.weixin.qq.com/s/gompg-UI_RBCfkGws8UEdA

AI智能

华为诺亚、北大提出GhostNet，使用线性变换生成特征图，准确率超MobileNet v3 | CVPR 2020

本文提出了一个全新的Ghost模块，旨在通过极其小的代价操作生成更多更丰富的特征图。基于一组固有的特征图，作者应用一系列线性变换，以很小的代价生成许多能充分揭示固有特征信息的虚特征图(Ghost feature maps)。

https://mp.weixin.qq.com/s/PgIKbWXljOf4r5WGChONmg

Google开源框架AutoFlip 实现视频智能剪裁

Google宣布开源视频剪裁框架AutoFlip，实现智能化自动裁剪视频。

https://mp.weixin.qq.com/s/Aul7s7rPrrDHd475lxNsFw

图像

计算视觉——基于内容的图像缩放

相信大家曾经见到过这样的问题，图像需要因为显示尺寸的问题需要进行适应尺寸而进行的变换，非常简单粗暴的一种方式就是拉伸，但是效果不尽人意。

https://juejin.im/post/5e4cba776fb9a07cb6074bb6

资源推荐

RTP: Audio and Video for the Internet 中文版

这本书是个非常完美的学习实时音视频技术以及流媒体传输技术的起点，读者可以从这本书出发，阅读更多的RFC文件，或者像本书作者Colin Perkings这样大牛的博客以获取更多知识。

链接：https://pan.baidu.com/s/1Mv_o8xxJgiiBUnFcNbhoOA

提取码：mgc1

活动推荐

探秘突发大规模视频增长背后的技术与未来趋势

伴随各大高校开展线上教学、企业在线复工的不断增多，疫情对于复工复学的压力和挑战逐渐得到缓解，但与此同时不可避免会带来突发的大规模在线视频与协作需求与流量冲击，面对高并发、高可用、高性能的挑战，平台背后技术如何支持？未来趋势会在哪里？

3月5日，【云加社区沙龙online】【采访间】腾讯云视频通信业务总经理李郁韬、学而思网校架构师刘连响、LiveVideoStack主编包研一同解析视频会议平台的技术难点与趋势，展望产品与场景创新，探索音视频能力赋能。

直播精彩话题摘要：

• 疫情带来短期视频会议/在线学习需求爆发式增长，未来趋势和场景又会如何？

• 面对突发需求，如何最快、高效的完成产品对接与上线？

• 巨头企业和技术小团队如何应对当前局势与技术挑战？

• 未来音视频技术发展趋势？有哪些新技术值得期待？（K8S，SRT，WebRTC-CDN等等）

https://cloud.tencent.com/developer/salon/live-1187?channel=LVS

点击“阅读原文”可查看更多详细信息，请大家科学上网。

创作打卡挑战赛 赢取流量/现金/CSDN周边激励大奖