音视频技术开发周刊 93期

Posted 2021-02-17 ai2050

『音视频技术开发周刊』由LiveVideoStack团队出品，专注在音视频技术领域，纵览相关技术领域的干货和新闻投稿，每周一期。点击『阅读原文』，浏览第93期内容，祝您阅读愉快。

架构

• Nodejs+socket.io搭建WebRTC信令服务器

  本文介绍了 Nodejs 的工作原理、Nodejs的安装与布署，以及如何使用 要sokcet.io 构建 WebRTC 信令消息服务器。socket.io 由于有房间的概念所以与WebRTC非常匹配，用它开发WebRTC信令服务器非常方便。

  
  

• 蔡锐涛：CG内容互动与5G的碰撞

  在LiveVideoStackCon2019上海音视频技术大会前夕，LiveVideoStack采访了相芯科技资深图形引擎开发经理蔡锐涛，他从个人成长聊到CG（Computer Graphics），再到电影《阿丽塔：战斗天使》展现的空前的CG水平，并展望了5G带来的人机交互的新方式。

  
  

• Sisvel的VP9/AV1专利池将对视频行业带来哪些影响？

  近期，Sisvel International S.A.公布了两个新的专利池，提供VP9以及AV1相关技术的专利许可，并声称AV1和VP9中包含部分受到专利保护的技术。Sisvel会对AOM主推的AV1普及带来何种影响，AOM对Sisvel是怎样的态度将备受关注。

  
  

• ZLMediaKit高并发实现原理

  ZLMediaKit是一套高性能的流媒体服务框架，目前ZLMediaKit经过多次版本迭代，编程模型多次升级优化；已经趋于成熟稳定，也在各种生产环境得到了验证，本文主要讨论ZLMediaKit高性能实现原理以及项目特点。

传输网络

• Netty解决粘包和拆包问题的四种方案

  本文首先会对粘包和拆包问题进行描述，然后介绍其常用的解决方案，最后会对Netty提供的几种解决方案进行讲解。

  
  

• Google BBR拥塞控制算法背后的数学解释

音频/视频技术

• 音视频分析工具StreamEye介绍

  Elecard StreamEye是一款视频分析工具：可以从不同的角度分析视频：TS级，ES级和实际的视频级；方便分析视频源，查找视频源相关问题；通过检查和分析视频流，以调整编码器，比较不同厂商的编码器。

  
  

• Chromium 视频流请求与传递过程分析

  Chromium 浏览器在处理类似 chrome.desktopCapture 这样的视频流请求的时候，大致流程是什么样的呢？初步梳理了一下整个流程，流程还是比较长的，这里给出大概的类图，但只说明其中部分的关键点。

  
  

• 语音识别传统方法(GMM+HMM+NGRAM)概述

  语音识别传统方法主要分两个阶段：训练和识别，训练阶段主要是生成声学模型和语言模型给识别阶段用。传统方法主要有五大模块组成，分别是特征提取，声学模型、发音字典、语言模型、搜索解码。

  
  

• 通过端到端的数据侦测提升QoS

  通过收集网络传输的数据，并采用更接近主观主观评价的客观评价方式，可以有效反映QoS的水平，从而帮助运营方改进服务。

编解码

• CAE+VBR如何提升用户体验？

  内容自适应编码(CAE)产生的是动态码率（VBR）视频流，根据内容复杂性为视频分配所需的码率从而让“编码质量”与“码率/带宽/存储空间”达到最佳平衡，为用户提供最佳的体验质量。

  
  

• Versatile Video Coding(VVC)总结

  JVET于2018年4月10日美国圣地亚哥会议上，为新一代视频编码标准定名为Versatile Video Coding，主要目标是改进现有HEVC，提供更高的压缩性能，同时会针对新兴应用（360°全景视频和HDR）进行优化。

  
  

• WebRTC的视频解码原理简析

  WebRTC的视频部分，包含采集、编解码(I420/VP8)、加密、媒体文件、图像处理、显示、网络传输与流控(RTP/RTCP)等功能。

  
  

• H.265与H.264的差异详解

  H.265仍然采用混合编解码，编解码结构域H.264基本一致，主要的不同在于：编码块划分结构：采用CU (CodingUnit)、PU(PredictionUnit)和TU(TransformUnit)的递归结构；基本细节：各功能块的内部细节有很多差异；并行工具：增加了Tile以及WPP等并行工具集以提高编码速度；滤波器：在去块滤波之后增加了SAO（sample adaptive offset）滤波模块。

AI智能

• 移动端70+fps！谷歌新出高效实时视频目标检测

  图像目标检测是图像处理领域的基础。自从2012年CNN的崛起，深度学习在Detection的持续发力，为这个领域带来了变革式的发展：一个是基于RPN的two-stage，RCNN/Fast RCNN/Faster RCNN、RetinaNet、Mask RCNN等，致力于检测精度的提高。一类是基于SSD和YOLOv1/v2/3的one-stage，致力于提高检测速度。

  
  

• 视频检测（Video Detection）资源列表

  近日，视频检测（Video Detection）受到广泛的关注，小编为大家带来了GitHub上视频检测合集列表。

  
  

• 滑动窗口也能用于实例分割，陈鑫磊、何恺明等人提出图像分割新范式

  滑动窗口在目标检测中非常重要，然而最近何恺明等研究者表明，这个范式同样可以用于实例分割。他们提出一条新的道路，即将密集实例分割看成一个在 4D 张量上进行的预测任务，这也就是 TensorMask 通用框架。

图像

• 运动模糊滤镜

  运动模糊是指快速运动的物体造成明显的模糊拖动痕迹；以简单的直线运动为例，运动模糊应该具有两个参数，分别是半径长度和角度；