音视频技术开发周刊 | 225

Posted 2022-01-10 LiveVideoStack_

每周一期，纵览音视频技术领域的干货。

新闻投稿：[e-mail]。

李松南：智能全真时代的多媒体技术——关于8K、沉浸式和人工智能的思考

视觉体验在全真时代显得越发重要，如何提高用户的视觉体验？更好的编码标准带来的低码率高画质、超分等视频处理手段带来的画质提升、三维视频带来深度感知、任意视点视频或者VR360视频带来的用户交互、扩展现实与虚拟现实带来的超现实感；另一方面，智能时代革新了音视频技术，通过音视频分析更好的理解数据与连接用户、通过辅助创作让音视频内容极大丰富。LiveVideoStack2021北京站邀请到腾讯多媒体实验室视频技术总监—李松南，带领我们一起发掘在全真时代与智能时代里多媒体技术的无限可能。

使用 MediaCodec 进行视频的编码和解码

在Android中播放视频很简单，只要创建一个MediaPlayer实例，然后设置上DataSource和SurfaceView就可以了。但是播放视频还有一种方式就是使用Android提供的MediaCodec，它可以用于编码和解码。另外如果要播放使用Android Widevine加密的视频则必须使用MediaCodec来完成解密和解码的过程。

不仅仅是大量传感器和摄像头，谷歌Starline 3D视频方案解析

近期，谷歌实验室公布了该项目背后的技术细节，包括采用的摄像头、红外传感器等硬件，以及如何在测试过程中，通过精准的视觉模拟来欺骗用户的观感。简单来讲，Starline可以看做是一种专为面对面会议设计的双向3D电话亭，它可以实时扫描使用者的3D形象，然后在另一端的光场显示器上实时呈现立体的视频图像，这种立体视频裸眼可观看，无需额外的头显。此外，声音也以3D空间音频形式呈现，通话者的注视点也会实时追踪和更新，看起来足够真实。

使用 JPEG XS 和 AWS CDI 的云端实时视频
本次演讲主题为使用 JPEG XS 和 AWS CDI 的云端实时视频，主讲人为来自亚马逊云科技专门从事广播的首席解决方案架构师 Thomas Edwards。他从 JPEG XS 和 AWS CDI 两个方法分别进行了介绍。

从直播硬件出发，浅析直播技术到物联网设备的智能化趋势
直播有个人直播（泛娱乐直播）和企业直播（商业&商务直播）之分；个人直播的投入成本低，一部手机便可以随时随地开播，且各直播App有足够多的直播辅助工具来协助开播，对增值服务需求不高；企业直播讲究规范，有专门的直播间，投入的人力物力很大，直播影响面广泛，对专业的直播硬件，PaaS，SaaS等软件服务以及运营指导，售后服务等多种增值服务都有明确诉求，故本次分析基于TO B的企业直播业务展开。

视频直播关键技术和趋势
移动互联网的兴起为人类信息传播带来了更便捷的通道、更立体的视角和更丰富的选择。视频直播等多媒体通信技术在新的时代背景下逐渐崭露头角并不断渗入到人们的日常生活中，以提高人们的信息传输效率、降低信息传输成本。

无线声学传感网络中的采样率失配问题怎么办？
无线声学传感器网络是一个集信息提供、感知、传送和处理为一体的有机整体，通常包括多个声学传感器节点。其中，每一个传感节点都是具有一定感知、计算和无线通信能力的设备。这些节点通过自组织的形式形成无线声学网络系统，协作收集数据并进行处理。相比于我们熟知的传统麦克风阵列，无线声学传感网络的麦克风节点可以放置到更加灵活的位置，这也增加了声源附近有多个麦克风存在的概率，可以收集到更高质量的信号。而且由于所有具有收发功能的记录设备（如个人手机，电脑等）都可以作为记录节点，因此无线声学传感网络的搭建相当容易，它在音频采集和处理领域有着很好的应用前景。

技术实战 —— 快速实现语聊房搭建
语音相比文字图片更丰富，比视频又更简便，是天然的社交工具。以95后为代表的Z世代用户，在微信、QQ、微博等主流社交工具以外，更愿意尝试基于不同兴趣相对小众的社交工具。ZEGO 即构科技推出语聊房解决方案，帮助客户快速搭建语聊房。本次分享，我们邀请到了 即构科技交付解决方案专家 JIN 。他向我们分享了线上社交以及语聊房的发展、玩法，并详细解析如何快速搭建语聊房，提供稳定、低延时，高品质的线上互动体验。

MIT、哈佛新研究：提速15000倍，借助光场实现3D场景超高速渲染

在一篇 NeurIPS 2021 论文中，来自哈佛大学、麻省理工学院的研究人员提出了一种新方法，使从图像中表征 3D 场景比已有模型约快 15000 倍。该研究提出的光场网络 (LFN) 可以在仅对图像进行一次观看后重建光场，并且能够以实时帧率渲染 3D 场景。

视频精修一帧要花2小时？美图影像研究院的AI只要5.3毫秒！
围绕用户更具个性化的「变美」 需求，美图影像研究院（MT Lab）自研基于深度学习的实时视频美容方案。通过设计轻量的神经网络生成式模型，结合强大的美图AI推理框架（Manis）和千万级人像图库训练优势，实现对动态视频人脸的瑕疵修复与暗沉祛除，同时最大程度地保留了皮肤的真实纹理细节。

人类驾驶，交通事故的最大Bug | 产学研联合发布自动驾驶汽车交通安全白皮书

商业落地，这是今年自动驾驶行的关键词。年末晒成绩之际，百度、中汽中心、同济大学却联合公布了这样一份报告：《自动驾驶汽车交通安全白皮书》。这份聚焦自动驾驶道路交通安全的报告，还是产学研联合出品，有车，有路，也有政策和技术。今年，自动驾驶公司各显神通，商业化落地进展迅速。此时强调自动驾驶的安全，又有何深意？普通人对于自动驾驶最大的担忧，《自动驾驶汽车交通安全白皮书》（下称《白皮书》）又给出了哪些解答？

---

阅读推荐

什么是闭合GOP和开放GOP?

在本文中，我们将了解闭合GOP和开放GOP的概念。这两种类型的GOP在视频流化中非常常见，并会影响视频压缩效率、错误恢复以及ABR的切换能力。

为什么直播时要用CDN?
你在直播时遇到缓冲、延迟、视频中断或其他故障吗？想要确保这些问题不会发生，使用CDN绝对是一个好方法。CDN已经存在有一段时间了，随着时间的推移，CDN会变得更加流行，对于直播也会更加重要。在本文中，我们将会讨论：你为什么应该在下一场直播中使用CDN，以及它是如何影响终端用户体验的。

2021 Bitmovin 视频开发者报告
本文译自 "2021 Bitmovin Video Developer Report"，报告了 2021 年 Bitmovin 的调查结果，反映了音视频行业的发展情况。

---

活动推荐

【城市沙龙】LiveVideoStack Meet | 南京：

互联网沙漠的音视频发展

2021年LiveVideoStack Meet已成功在北京、苏州、杭州、成都、西安、合肥与上海落地。这一路我们分享对于行业内卷的看法，探讨技术发展方向，也了解到更多二线城市的音视频环境。2022年第一站，将于1月8日在南京与大家见面，本次分享内容涵盖人工智能、实时音视频、直播全链路监控、云游戏实践等多方面，快来现场与嘉宾面对面交流吧。

活动时间：2022.01.08 14:00-16:00

活动地点：南京市雨花台区凤信路6号 南京金证科技园3栋1楼路演厅

报名地址：

https://8392623630544.huodongxing.com/event/5628086056100

---

插图源自Pexels