音视频技术开发周刊 | 216

Posted 2021-10-28 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

小提示：链接跳转仅支持公众号相关链接

个性化语音识别模型，帮助语言障碍人士正常交流
语言障碍症状影响着数百万人的生活，其产生原因很多，包括神经或遗传疾病、身体缺陷、脑损伤或听力丧失等，而由此导致的症状也各不相同，如口吃、构音障碍 (Dysarthria)、失用症 (Apraxia) 等，这些症状对患者的自我表达、社会生活参与，以及使用语音技术，都会产生不利影响。

自动语音识别 (ASR, Automatic Speech Recognition) 技术可以通过提升设备的听写和家居自动化能力以及沟通能力，来帮助语言障碍人士克服上述问题。然而，尽管随着深度学习系统计算能力的提升，以及有大型训练数据集可供使用，ASR 系统在准确率方面有所提升，但是对于许多具有语言障碍的人而言，系统的性能仍有所欠缺，导致许多本应受益良多的患者无法有效利用这项技术。

时间二次采样对体素视频质量评估精度的影响
主要介绍了时间二次采样对体素视频质量评估精度的影响，从不同时间采样率、不同时间池化方法角度分别进行了实验探讨。

元宇宙，到底是个什么宇宙？
本文将介绍元宇宙除游戏以外的其他应用场景，以及迈向元宇宙的过程中我们还需要哪些技术支持？

清华校友吴旻当选IEEE SPS首位华裔女主席，曾发明“数字水印”防伪技术

IEEE信号处理学会 (SPS)2022-2023候任主席公布了。马里兰大学教授、清华校友吴旻从候选者中脱颖而出，将在2024-2025成为学会70余年历史上第一位华裔女主席！

低延迟广播协议及其部署

这篇文章主要介绍了各种低延迟广播场景下的传输协议性能和其部署。

视频编码完全指南

视频编码是一门在减少视频数据体积大小或码率的同时而不对其质量产生不良影响（在人类的视觉感知下）的科学。对视频进行编码从而减少其数据体积同时保持视频质量是一项综合了艺术和科学的技术。在本篇文章中，我们将介绍这个复杂且神奇的领域对视频流和视频传输产生的巨大影响。

PCS2021：VVC基于神经网络改进SAO

本文来自PCS2021论文《Revisiting the Sample Adaptive Offset post-filter of VVC with Neural-Networks》。

在HEVC中就已经引入SAO来解决振铃效应，VVC中的SAO和HEVC中的基本相同。论文通过神经网络（NN）来改进SAO的性能，其中SAO的基本原理保持不变，但是原先SAO对重建像素的分类方法被替换为NN。通过NN的改进VVC上SAO在RA配置下BD-Rate增益为2.3%，并且和其他基于NN的方法相比复杂度很低。

向量将死，哈希是 AI 未来

人工智能是建立在向量算法的基础上的，但最新的进展表明，对于某些 AI 应用程序而言，它们可以使用其他二进制来表示（例如神经哈希），以提供更小的内存占用和更快的反馈速度。

事实上，人工智能的许多领域都可以从向量变为基于哈希的结构，带来飞跃的提升。本文将简要介绍哈希背后的应用逻辑，以及它为什么可能会成为 AI 的未来。

人工智能音乐会替代音乐家吗？

近日，外媒Science Focus采访了伦敦玛丽女王大学媒体与艺术技术中心主任尼克·布莱恩-金斯（Nick Bryan-Kinns）教授。请他解释了人工智能音乐是如何创作的，为什么这项技术不会摧毁人类的创造力，以及机器人将如何很快成为现场表演的一部分。

图灵奖得主杨立昆：AI+时代，未来将会如何被改变

图灵奖得主、Facebook 人工智能首席科学家杨立昆（YannLeCun）在他的新书《科学之路：人，机器与未来》具体阐述了人工智能革命的起始极其对人类社会产生的影响。

基于块的学习型图像压缩模型

本文来自PCS2021 SS3的第四场演讲，介绍了一个基于块的学习型图像压缩模型（BLIC），它包括一个边界预测模块，用于执行学习型的帧内预测以辅助目标块的熵编码。它使用卷积神经网络在latent空间中产生帧内预测，并使用这种帧内预测来辅助目标块的latent特征的熵编码。在整个图像被解码后，一个后处理网络被应用于去除块效应和降噪。

使用 CNN 进行快速 VVC 帧内编码

文中视频主要介绍了一种使用 CNN 进行快速 VVC 图片内编码的新方法，该方法基于 RDT 成本的可以应用于图像内分割决策。

汽车CAN总线数据帧分类及格式详解

本文详细介绍了CAN协议的报文传输过程。在这个报文传输过程中有：数据帧、远程帧、错误帧、过载帧和帧间隔。

来自技术人的呐喊：回归本心，远离内卷

作为一个小公司的技术人，我想分享一下自己关于内卷这个话题的见解。下面请跟随我的思路，一起来分析一下并找到破局之路。

---

插图源自Pexels