世界杯直播 ｜ 抖音视频编码器优化

Posted 2023-04-09 字节跳动技术团队

动手点关注

干货不迷路

世界杯的编码技术挑战

对于世界杯这样的大型体育赛事而言，视频编码算法既要在高速运动、复杂纹理的场景下确保直播内容的清晰度和流畅度，保障用户的观赛体验，又要兼顾码率、延迟等对网络传输层面尤为敏感的指标。

另外，抖音实现了业界首次的世界杯比赛支持 4K HDR 10-bit 直播，其内容信息量相较于以往有极大提升，对编码器的实时性提出了更高要求。

火山引擎如何完成这个挑战

BVC 编码器长期迭代优化

火山引擎自研的 BVC 编码器经过多年的技术攻关和优化技术积累，以及在不同视频服务业务方向上的长期迭代优化，目前其编码性能和编码器架构的计算效率都处于业界领先水平，在国际权威编码器大赛 MSU 比赛中多次夺冠。

世界杯项目针对性优化

概述

在 BVC 编码器的基础上，火山引擎多媒体实验室针对世界杯比赛场景进行了一系列针对性优化。

首先通过科学构建世界杯比赛视频的测试集，分析足球比赛视频特性，进一步挖掘了当前场景下的先验信息，有效提升了编码效率，在保证画质的情况下进一步降低了码率，同时优化了码率平稳性以及码控精度。

同时，团队优化了多核下的并行机制，极大幅度提升了 CPU 利用率；同时分析并优化了4K HDR 10-bit 视频编码中的复杂度瓶颈，进一步加快了 HDR 视频的编码速度。最终使得 BVC 编码器在保证画质和降低码率的同时，能进一步提升编码速度，达到并超出了4K HDR 10-bit 50fps 视频实时编码的要求。

另外在线上部署时，团队通过主观质量评测专门对足球赛事视频优化了各种不同质量配置下的最优码率，比如超高清 4K，超高清 HDR，蓝光 HD 等质量配置，保证不同用户的观看质量。

优化成果

本次 BVC 编码器共优化了 3 个不同档位，分别用于4K HDR/SDR 编码，1080p编码，以及 720p/480p 编码。

（1）针对世界杯场景， BVC 编码器优化前后各项指标对比如下图

可见优化后，BVC 编码器既有相同视频质量下带宽收益（BD-Rate)，尤其是在相同 VMAF 质量指标时码率节省收益显著，同时编码速度和 CPU 利用率也提升较大（尤其是 4K 档位），码控精准度也有显著提升。

（2）针对世界杯场景的4K 10 - bit 视频 ， BVC 编码器与开源 x265 编码器性能对比如下图：

可见在相同 PSNR 下，BVC 编码器的带宽节省高于 x265 的 veryslow 最慢档，且在相同测试条件下，编码速度也高于 x265 的 ultrafast 最快档。

备注：上述图示中，speed（相对于 x265 ultrafast 编码速度）越大越好，bandwidth（相对于 x265 ultrafast 带宽）越小越好。

优化手段

团队通过精准构建世界杯足球比赛测试集，有效约束了团队的优化场景，既能为团队提供更多的足球比赛视频的先验信息，同时也不会导致过拟合的情况。在此基础上，团队做了大量编码器内核优化，包括编码工具调优，新增数十项主/客观编码算法，多线程调度以及 SIMD 等工程优化加速，码率控制优化等；在优化过程中，团队使用了多个质量评价指标对优化技术性能进行评估，最终实现了在保证画质不变的条件下既有码率节省又有速度提升的优化效果。

（1）构建精准的足球比赛测试序列

团队分析了足球比赛视频中每个片段的时域复杂度和空域复杂度，同时根据每个片段的场景内容，筛选出了数十个作为足球比赛测试集。

在此基础上，团队加入了部分通用测试视频防止过拟合，构建了最终的测试集，如下图。

（2）优化编码器内核

团队首先测试了已有的数十个编码工具在当前场景的性价比，找出性价比最高的（复杂度最低，码率节省最高）工具在当前场景下开启，并关闭性价比低的工具。

在此基础上，团队针对编码器内部的多个不同模块，其中包括预分析和编码过程中运动搜索，模式决策，环路滤波等，开发了数十项新算法，进一步提高了编码效率和降低模块的计算复杂度，加快编码速度。

针对世界杯场景中视频时域复杂度高特点，团队通过优化了码率控制算法，保证了场景切换时的码率平稳性，同时提高了整体码率的精准性。团队也优化了支持 ROI 区域的码控算法，在相同码率下使得主观感受更优，有效提高了足球比赛中人眼敏感的球员区域以及草坪区域的主观质量。

团队也进行了大量并行优化，通过多线程任务调度以及 SIMD 优化，提升了多核下的 CPU 利用率，极大加快了编码速度。

优化示例

（ 1 ）解决480p档位拖影问题

优化前（左） vs 优化后（右）：

（ 2 ）提升720p/480p草坪清晰度

优化前（左） vs 优化后（右）：

视频直播技术：延迟优化

音视频的直播系统是一个复杂的工程系统，要做到非常低延迟的直播，需要复杂的系统工程优化和对各组件非常熟悉的掌握。下面整理几个简单常用的调优技巧：

编码优化

1. 确保 Codec 开启了最低延迟的设置。Codec 一般都会有低延迟优化的开关，对于 H.264 来说其效果尤其明显。很多人可能不知道 H.264 的解码器正常情况下会在显示之前缓存一定的视频帧，对于 QCIF 分辨率大小的视频（176 × 144）一般会缓存 16 帧，对于 720P 的视频则缓存 5 帧。对于第一帧的读取来说，这是一个很大的延迟。如果你的视频不是使用 H.264 来编码压缩的，确保没有使用到 B 帧，它对延迟也会有较大的影响，因为视频中 B 帧的解码依赖于前后的视频帧，会增加延迟。

2. 编码器一般都会有码控造成的延迟，一般也叫做初始化延迟或者视频缓存检验器 VBV 的缓存大小，把它当成编码器和解码器比特流之间的缓存，在不影响视频质量的情况下可以将其设置得尽可能小也可以降低延迟。

3. 如果是仅仅优化首开延迟，可以在视频帧间插入较多的关键帧，这样客户端收到视频流之后可以尽快解码。但如果需要优化传输过程中的累计延迟，尽可能少使用关键帧也就是 I 帧（GOP 变大），在保证同等视频质量的情况下，I 帧越多，码率越大，传输所需的网络带宽越多，也就意味着累计延迟可能越大。这个优化效果可能在秒级延迟的系统中不是很明显，但是在 100 ms 甚至更低延迟的系统中就会非常明显。同时，尽量使用 ACC-LC Codec 来编码音频，HE-ACC 或者 HE-ACC 2 虽然编码效率高，但是编码所需时间更长，而产生更大体积的音频造成的传输延迟对于视频流的传输来说影响更小。

4. 不要使用视频 MJPEG 的视频压缩格式，至少使用不带 B 帧的 MPEG4 视频压缩格式（Simple profile），甚至最好使用 H.264 baseline profile（X264 还有一个「-tune zerolatency」的优化开关）。这样一个简单的优化可以降低延迟，因为它能够以更低的码率编码全帧率视频。

5. 如果使用了 FFmpeg，降低「-probesize 」和「 -analyze duration」参数的值，这两个值用于视频帧信息监测和用于监测的时长，这两个值越大对编码延迟的影响越大，在直播场景下对于视频流来说 analyzeduration 参数甚至没有必要设定。 

6. 固定码率编码 CBR 可以一定程度上消除网络抖动影响，如果能够使用可变码率编码 VBR 可以节省一些不必要的网络带宽，降低一定的延迟。因此建议尽量使用 VBR 进行编码。

传输协议优化

1. 在服务端节点和节点之间尽量使用 RTMP 而非基于 HTTP 的 HLS 协议进行传输，这样可以降低整体的传输延迟。这个主要针对终端用户使用 HLS 进行播放的情况。

2. 如果终端用户使用 RTMP 来播放，尽量在靠近推流端的收流节点进行转码，这样传输的视频流比原始视频流更小。

3. 如果有必要，可以使用定制的 UDP 协议来替换 TCP 协议，省去弱网环节下的丢包重传可以降低延迟。它的主要缺点在于，基于 UDP 协议进行定制的协议的视频流的传输和分发不够通用，CDN 厂商支持的是标准的传输协议。另一个缺点在于可能出现丢包导致的花屏或者模糊（缺少关键帧的解码参考），这就要求协议定制方在 UDP 基础之上做好丢包控制。 

传输网络优化

1. 我们曾经介绍过实时流传输网络，它是一种新型的节点自组织的网状传输网络，既适合国内多运营商网络条件下的传输优化，也适合众多海外直播的需求。

2. 在服务端节点中缓存当前 GOP，配合播放器端优化视频首开时间。

3. 服务端实时记录每个视频流流向每个环节时的秒级帧率和码率，实时监控码率和帧率的波动。

4. 客户端（推流和播放）通过查询服务端准实时获取当前最优节点（5 秒一次），准实时下线当前故障节点和线路。

推流、播放优化

1. 考察发送端系统自带的网络 buffer 大小，系统可能在发送数据之前缓存数据，这个参数的调优也需要找到一个平衡点。

2. 播放端缓存控制对于视频的首开延迟也有较大影响，如果仅优化首开延迟，可以在 0 缓存情况下在数据到达的时候立即解码。但如果在弱网环境下为了消除网络抖动造成的影响，设置一定的缓存也有必要，因此需要在直播的稳定性和首开延迟优化上找到平衡，调整优化缓冲区大小这个值。

3. 播放端动态 buffer 策略，这是上面播放端缓存控制的改进版本。如果只是做 0 缓存和固定大小的缓存之间进行选择找到平衡，最终还是会选择一个固定大小的缓存，这对亿级的移动互联网终端用户来说并不公平，他们不同的网络状况决定了这个固定大小的缓存并不完全合适。因此，我们可以考虑一种「动态 buffer 策略」，在播放器开启的时候采用非常小甚至 0 缓存的策略，通过对下载首片视频的耗时来决定下一个时间片的缓存大小，同时在播放过程中实时监测当前网络，实时调整播放过程中缓存的大小。这样即可做到极低的首开时间，又可能够尽量消除网络抖动造成的影响。

4. 动态码率播放策略。除了动态调整 buffer 大小的策略之外，也可以利用实时监测的网络信息来动态调整播放过程中的码率，在网络带宽不足的情况下降低码率进行播放，减少延迟。

以上，是低延迟优化方面的部分技巧。实际上我们优化低延迟的时候并不是只关注「低延迟」，而是在保证其它条件不影响用户体验的情况下尽量做到低延迟，因此它的内容涉及到更多广泛的话题。