抛开元宇宙，我们来聊聊音视频技术的未来

Posted 2022-02-10 鲜枣课堂

1872年的某一天，在美国加利福尼亚州的一个酒店里，两个年轻人发生了激烈的争论。

其中一人认为，奔跑的马在跃起的瞬间，四蹄是腾空的。而另一人则认为，马奔跑时，始终有一个蹄子是着地的。

来自英国的摄影师麦布里奇得知此事后，决定通过实验来验证谁对谁错。于是，他借助24台相机，连续拍摄了24张照片，并由此创造了人类历史上第一个“视频”。

不久后，1877年，著名发明家爱迪生在他的“圆筒留声机”上，录下了他亲自朗读的《玛丽有只小羊羔》的歌词。

这短短数秒的声音，成为了人类历史上第一条音频。由此，人类正式进入了音视频时代。

█ 音视频技术的发展和演进

众所周知，人有五感，分别是视觉、听觉、嗅觉、味觉和触觉。通过五感，我们才能感知外部物理世界的存在，享受真实生活的美好。

在人类漫长的历史长河中，文字、图画是记录和传递信息的主要方式。直到前面提及的音视频出现，才将人类记录信息的方式，升级到了一个更高的维度，更加具象化。

音频和视频诞生早期，只能存储在胶片和磁带上，容量有限，也不方便保存和运输。

电影胶片

直到20世纪70-80年代，随着数字录音和摄像技术的不断成熟，唱片公司和电影公司开始采用数字方式录制原始素材，并进行后期制作，掀起了音视频技术的革新浪潮。

在数字技术的支撑下，音视频剪辑变得更加方便快捷。CD、MD、DVD等数字载体的出现，不仅让音质画质大幅改善，还极大地扩充了存储容量，减少了空间占用。

世界上第一款CD播放器，索尼CDP-101(1982年）

到了90年代，个人PC的规模普及，以及互联网的爆炸式发展，再次刺激了音视频技术的飞跃，并将人类全面推向了多媒体时代。

那一时期，互联网先民们疯狂地上传和下载mp3、wav格式的音乐，bmp、jpg格式的图片，还有rm、mov、avi格式的电影。他们不再局限于纯文字的交互方式，而是全面转向了QQ、MSN这样的多媒体通信工具。

与此同时，基于音视频技术发展起来的游戏产业，更是将人们对数字世界的感官体验，推向了更高的层级。人们开始有了对数字虚拟空间生活的早期憧憬和迷恋。

“模拟人生”游戏截图

进入21世纪后，随着3G/4G、光纤宽带的高速发展，以及摩尔定律下CPU、内存、硬盘能力的进一步跃升，音视频技术再获突破，几乎可以说是日新月异。

以视频的清晰度为例，一路从早期的标清（320p/480p），发展到高清（720P/1080P），再到超高清（4K/8K），并最终催生了前所未有的人机交互模式——VR/AR（虚拟现实/增强现实）。

VR/AR的出现，第一次让人类感受到什么叫做沉浸式体验。我们与数字世界的交互，从单向异步，变成了双向同步。我们向真正的数字空间生活，迈出了一大步。

2020年，腾讯提出“全真互联网”。2021年，元宇宙火遍出圈。这些都是音视频技术飞速发展的产物。

视频编解码技术的不断演进，信息通信技术的快速迭代，极大地改善了人们的视频观看体验，彻底激发了人们对平行数字空间的渴望和向往，认为这是一种可以实现的梦想。

人们不再满足于使用音视频技术传递真实世界的影像，而是更希望将真实世界的一切元素都“捕捉”下来，转换成无数的比特，存放在硬盘里。这些比特，将成为人们构建数字虚拟世界的素材。

█ 音视频技术的需求变化

元宇宙到底能不能成真，我并不知道答案。但是，音视频技术的需求趋势，却是显而易见的。归纳而言，就是两点：平民化、产业化。

近年来，智能手机的普及，专业摄录设备的降价，让越来越多的普通用户有机会进行音视频内容创造和生产。

短视频业务的爆发，以及全民直播的兴起，更是将视频平民化推向了新的高潮。

网红直播带货

几乎在一夜之间，我们就进入了“人人看视频，人人拍视频”的时代。很多优秀的up主或主播，能够通过优质的内容，赚取巨额收益，刺激了人们将视频作为谋生手段的热情。

在这样的情况下，音视频技术需要进一步降低门槛，让更多的人能够更容易地生产内容。

2020年，突如其来的新冠疫情，也间接推动了音视频产业的发展。我们需要借助虚拟空间的延伸，弥补疫情导致的物理空间上的限制。

学生居家学习，企业居家办公，产生了大量的网课、会议视频流量。根据运营商的统计数据，截至2020年底，视频在全网数据流量的占比已接近70%。

远程会议

除了学习和办公之外，产业将视频的应用进行了延伸，发掘了更多的创新场景。

例如，借助视频识别技术，可以对产品进行质量检验，可以对园区进行车辆管理，可以对工地进行安全隐患识别。

再例如，借助VR/AR技术，可以进行人员岗前培训，可以进行远程手术，可以进行远程参观，也可以进行远程设备巡检和故障处理。

也就是说，视频不再仅仅是娱乐工具，而是变身为生产力工具。

各个领域和垂直行业，都希望借助音视频技术，升级和改造现有生产场景，提升效率，降低成本。

企业希望充分利用音视频技术，但是，也面临着对技术门槛和资源投入的担忧，望而却步。

我们现在每天都在讨论数字化转型，其实，“音视频+垂直行业”，就是企业数字化转型的一个极佳入口。行业音视频，即将进入爆发期。

█ 音视频技术的未来方向

刚才说的是外部需求的变化。接下来，我们看看音视频技术是如何应对变化的。

简而言之，就是三点：算法极致化、功能智能化、服务平台化。

音视频的性能指标提升，一直没有停止前进的脚步。

尤其是视频方面，因为高清显示技术的驱动，使得视频的分辨率不断增长。除了分辨率之外，视频的帧率要求，也在增加。

还有VR视频，因为含有三维的时间和空间信息，所以冗余更高，数据体积更大。

想要实现超高清高帧、VR/AR视频应用的普及，仅仅依靠增加硬盘容量和通信带宽是不够的，必须尽可能压缩视频的体积。这就离不开视频压缩算法的持续改进。

目前，全球视频编码标准分为多个派系。除了大家熟悉的H.26X系列（ITU-T主导）之外，还有MPEG系列（ISO/IEC主导），AVS系列（国内AVS组织主导），以及免费开源的AV1等。

来自知乎用户：甜草莓

这些标准，形成了开放的竞争关系，不断探索着视频算法的极限。它们是视频技术向前发展的基础。

除了硬指标提升之外，音视频的另一个发展趋势，就是全面智能化时代的到来。

换言之，就是AI人工智能技术不断被引入到音视频领域，帮助提升音视频内容的生产效率，同时创新出更多的玩法。

首先看看音频。

AI+音频，可以实现对音频信号的智能识别、编创。具体识别对象，可以是歌曲中的鼓点、节奏点。

AI可以针对音乐的强度、情绪、风格、情感等维度，对音乐进行理解和打标签。在编创时，AI可以将音乐中人声、伴奏、吉他、钢琴等音轨进行智能分离。

AI还可以自动对歌词进行续写，将一首流行歌曲，改编成一首Rap（说唱音乐）。

再看看视频。

做过视频的人都知道，视频内容创作的大部分工作量，都集中在视频内容剪辑和渲染上，既费时又费力。

相比于传统的人工剪辑，基于算法和学习，AI可以对视频素材进行“智能增强”、“智能剪辑/拆条”。

“智能增强”，则是通过AI技术，进行视频图像降噪、色彩增强，改善画面细节，提升人眼的主观效果。

“智能剪辑/拆条”，则是智能识别和分析视频原始素材中人物的动作、事件和表情，自动定位精彩片段，将其提取出来，完成剪辑、配乐等工作，变成精彩视频集锦。

“AI+音频+视频”的融合，用途更为广阔。Up主可以借此实现视频智能配乐、音乐MV和vlog的自动创作，大幅降低作品的生产难度。

除了内容创作以外，AI还可以用于视频修复（旧电影修复）、视频增强和行业视频应用。

例如，腾讯的多媒体实验室，通过深度学习敦煌壁画病害数据，形成自动识别并添加图示的一整套算法，打造出了高效的AI壁画病害识别工具。

腾讯与敦煌研究院合作的文物VR远程会诊

音视频技术的第三个发展趋势，是服务形式的平台化。

正如前面所介绍的，音视频技术的应用难度很高，一般个人和企业很难独立玩转。于是，现在很多音视频技术服务商，开始通过视频云（腾讯）、视频中台（中国移动）等方式，对个人和政企用户进行音视频能力服务。

这些平台集成了开放的API接口，方便上层应用开发商调用，开发软件。平台本身，又结合了云的能力，拥有无限的算力，可以支撑用户的需求。

专业服务商们提供的技术和平台，涵盖了智能采集、数据处理和渲染展示等多个环节，有利于降低垂直行业对音视频业务的开发门槛，让更多的企业能够从容地使用音视频业务，享受音视频红利，加快数字化转型。

█ 结语

现在，没有音视频，人们的快乐会减少一半。

未来，没有音视频，企业的效率会下降一半。

正如前面所说，未来，音视频技术将进入爆发期。尤其是工业制造、金融证券、文旅教育等垂直领域，音视频将进入高速增长的阶段。音视频的商业模式，将发生很大的变化。音视频业务的应用场景，也将大量出现。

希望音视频能够带来更多的创新，带给我们更多的惊喜。

—— The End ——