31年前的Beyond演唱会，是如何超清修复的？

Posted 2022-08-02 字节跳动视频云技术团队

1991年，29岁的黄家驹率领Beyond乐队登上红馆，举办了连续5天的“生命接触”演唱会。

31年来，经典曲目《光辉岁月》《喜欢你》《不再犹豫》《灰色轨迹》《真的爱你》《再见理想》.......始终留在歌迷心里。

然而，当初留下的影像却存在模糊、褪色等多种瑕疵。

7月3日晚，超清修复版Beyond演唱会精选在抖音、西瓜视频、鲜时光TV、今日头条同步直播，超1.4亿人次收看。

随着Beyond的歌声响起，几代歌迷的记忆被唤醒了。

这次超清修复版演唱会上线，是火山引擎多媒体实验室、火山引擎音频技术团队通过画质和音质两个维度的修复，重现了一场音乐盛宴。

接下来，就带大家了解这次超清修复背后的技术亮点。

图：修复前后对比

画质修复，再现Beyond风采

1991年的演唱会中，Beyond四子的服装造型、表情、对白，为人们津津乐道。

火山引擎多媒体实验室通过画质修复，再现了他们的风采。

图：戴着戒指耳环的黄家驹 

实验室遇到的第一个难题，是画面清晰度。

大家在看早期视频时，经常有一个感觉，就是条纹多、看不清楚。其中一个主要原因是，早期视频大多采用“隔行扫描”方式处理和显示。而目前主流的视频，用的是“逐行扫描”。

逐行扫描比较容易理解，就是将每一帧从左到右、从上到下扫描完成后，输出一张完整的画面。这需要较大的带宽来传输，在早期难以实现。

于是，人们用隔行扫描来解决：将画面分为两个场，先扫描奇数行像素，再扫描偶数行像素。凭借“视觉暂留效应”，在快速播放时，两个场互相补足，让人眼看到完整的画面。

但由于两个场的画面并非同时出现，如果在新式设备上直接播放，就会产生闪烁和条纹。

这就需要“去交错”：将隔行扫描讯号转换为逐行扫描讯号。

传统的去交错方法只能输入单张画面，对运动的感知不强，难以处理运动场景的模糊情况。实验室对此做了改进，设计了多图输入的神经网络，可以恢复更多细节。

在处理完格式转换问题之后，实验室对视频进行了“超分辨率重建”，该过程可以将视频的分辨率档位从低清处理至超高清，同时在缺少纹理的区域生成更丰富的信息。

对比可以看出，乐队拨弄琴弦的身影，变得更加清晰。

图：弹奏吉他的黄贯中

 在清晰度之外，影片还存在褪色、颜色异常、过亮过暗等问题。如何在解决褪色的同时保留演唱会的复古感，成为了修复的第二大难题。

实验室先对画质进行检测，并依据美学评分，在色调、亮度、对比度、饱和度方面，针对人像和背景区域，分别进行增强。

根据不同画面的统计信息，算法还进行了自适应，使亮区与暗区都能得到最佳表现。

图：色彩亮度增强前后

 第三个难题，是人像修复。

面部表情是歌手传达情感的重要部分。然而，在演唱会的许多片段中，人脸都存在压缩损伤、模糊、低分辨率等问题。

火山引擎多媒体实验室自研人像增强算法，基于深度学习模型，在消除整体模糊和压缩损伤的同时，进一步做了五官重建，对眼睛、嘴巴、耳朵、皮肤甚至发丝都进行了细节重建和纹理添加，使人脸清晰度更高、更真实。

同时，针对演唱会多角度的人脸场景，包括正脸、侧脸、俯视、仰视，以及被乐器或话筒遮挡的人脸，算法都做了稳定性强的修复。

图：黄家驹在演唱歌曲

 修复之后，原本模糊的人脸变得清晰，《光辉岁月》的激情、《灰色轨迹》的悲伤、《真的爱你》的温暖，都更能走进歌迷内心。

音质修复，聆听31年前的震撼

这场流传31年的演唱会，曾惊艳过无数歌迷。

然而，早期视频存在各种音质问题，在听感上也不免打折扣。火山引擎音频技术团队通过AI音质修复算法，弥补了这一遗憾。

音质修复算法包含三个模块，第一是降噪模块。

因为早期演唱会收音条件有限，加上环境嘈杂，片子里就出现了许多噪声。

然而，传统降噪方案主要针对人声，而音乐在经过降噪算法处理后，会被不小心“误伤”。

不过，我们的技术团队实现了音乐和人声的兼容，既可以保留这两个部分，也能同时抑制噪声。

如果还不够直观，可以看看下面这张频率分布图：

图：降噪前 

图：降噪后 

降噪前，左边无声段噪声明显，右边音乐段因为掺杂着噪声，图片看起来比较浑浊。而在降噪后，整张图变得清晰了。

这意味着，噪声不管在无声段还是音乐段，都被消除了。

第二个模块是超分模块。这个词听起来有点拗口，其实原理不难理解。

声音的本质是振动，振动频率的单位是赫兹（Hz）。我们听到的声音有高有低，就是因为频率高低不同。如果音频的高频信息更丰富，人耳听起来也会更明亮。

举个例子，女生说话频率比男生高，所以声音也更亮。

早期演唱会的收音设备、录制硬件或存储压缩条件有限，导致高频区域的信息被移除，音质受损。技术团队将人声部分进行频带扩展，恢复了部分高频信息，提升了音质。这就是“超分”。

下面的这段来自《午夜怨曲》，从频率分布图可以看出，超分处理后，一方面，原始音频大于18kHz的高频信息得到了一定程度的拓展补全；另一方面，10kHz和18kHz之间的高频信息同样得到了增强。在听感上，处理后的声音更加清晰明亮。

图：左为超分前，右为超分后 

修复后，当黄家驹唱起《光辉岁月》时，我们也更能感受到声音里澎湃的激情。

聊完降噪、超分，还有响度模块。

响度其实就是音量。同样是因为收音，有时候相对于乐器声和环境音，唱歌的声音反而过小。响度模块的任务就是，单独提取出唱歌的部分进行调整，然后再和其他声音混合，使整体听感更加舒适。

通过响度修复，记忆中的声音，也更能萦绕耳畔。

“喜欢你

那双眼动人

笑声更迷人”……

31年过去，Beyond的歌声始终陪伴着我们。修复，是为了让这份陪伴在岁月的流淌中变得更加光辉。

我们将持续行动，让经典焕发新生。