开创YouTube视频基础架构新时代

Posted 2021-06-16 LiveVideoStack_

正文字数：2064 阅读时长：8分钟

文 / The YouTube Team

译 / LiveVideoStack

原文链接 / https://blog.youtube/inside-youtube/new-era-video-infrastructure/

YouTube工程副总裁Scott Silver按：

运行一个全球平台，每天每时每刻都有大量的视频上传、存储和分发，给它的数百万创作者和数十亿观众，这是一项复杂而艰巨的任务。但是，如果一切都像它应该的那样工作，那么它就是以一种没有人注意到的方式完成的。在创新系列本期文章中，我们以罕见的内部视角介绍了一项重要创新，这项创新开创了YouTube视频基础架构的新时代。首席软件工程师Jeff Calow带领我们创建了一个开创性的系统，该系统为我们的平台提供了强大的支持，使我们的观众人数激增，并将带领我们走向未来。

 

简而言之，你刚刚在ASPLOS（编程语言和操作系统的体系结构支持）大会上宣布的创新是什么？你能解释一下，为什么它对普通的YouTube观看者或创作者很重要吗？

 

Jeff：我们的使命是“让每个人都能发声，并向他们展示世界”。让任何人免费上传视频，向世界上的任何人展示。这需要很大的处理能力。几年前，随着我们平台上视频的规模增长到惊人的水平，我们需要开发一个新的系统，让创作者继续无缝上传视频，观众可以任意选择他们期望看到的视频。

 

需要了解的重要一点是，视频是以单一格式创建和上传的，但最终将以不同的分辨率在不同的设备（从手机到电视）上播放。一些观众将在家里收看4K电视，另一些人则在乘坐公交车时通过手机观看。基础设施团队的工作是，通过一种称为转码（transcoding）的过程，将这些视频准备好供人观看，即对视频进行压缩，以便我们以尽可能高的视频质量，将最少的数据量发送到你选择的设备。但是这样的成本高而且速度慢，而且使用常规的计算机“大脑”（称为cpu）进行处理效率很低，尤其是当你添加越来越多的视频时。

 

因此，我们创建了一个用于对视频进行转码的新系统，该系统使我们能够在数据中心和仓库范围内更有效地执行此过程。我们决定利用计算机科学家多年来一直致力于的一个想法——为这项具体工作开发特殊的“大脑”。在其他领域，有专门的图形（GPU）或人工智能（TPU）的特殊大脑。在我们的案例中，我们开发了一个定制的视频转码芯片，以及协调这些芯片的软件。我们把它们放在一起，形成了我们的转码专用大脑——视频（转换）编码单元（VCU）。与之前在传统服务器上运行软件的优化系统相比，我们已经看到处理效率提高了20-33倍。

 

你能给我们提供一些技术视角，看看全天候运行这样一个全球平台的规模和复杂性吗？

 

Jeff：当我在这里面试求职者时，我总是提到，平均每分钟有超过500小时的视频内容上传到这个平台上——这总是引起他们的共鸣。在Covid-19大流行期间，我们看到人们在家避难，视频消费激增。去年第一季度，全球的观看时间增加了25%。而去年上半年，每日总直播量增长了45%。因为我们有这个系统，因此我们能够迅速扩展规模以应对这一激增。实际上，这意味着在创作者上传视频后，视频就可以立即观看。

 

你在2015年首次启动了这个项目，然后你看到了什么，这促使了需要找到新的基础架构解决方案？

 

Jeff：几年前，我们看到了对高质量视频（如1080p、4K和现在8K）的需求不断增长。我们还看到，除非我们转向更高效的数据编码（编解码器基本上是不同的压缩视频数据的方式），否则更多元化的互联网将无法适应这种增长。与H.264相比，像VP9这样的数据高效视频编解码器使用更多的计算机资源。这些因素结合，使我们追求一个效率更高、可扩展的基础架构。VP9版本显然比传统的H.264要好，但它使用了5倍的计算机资源进行编码。

 

一个软件工程师团队致力于创建硬件，有多艰巨？

 

Jeff：幸运的是，我们所做的大部分是一个完整的系统，所以我有一个垂直整合的团队，分布广泛，人员职责明确区分。比如，具有更多硬件经验的同事会更接近底层的硬件，而其他人则没有。但说实话，这并没有那么令人畏惧。这是一个令人兴奋的机会，学习了很多新奇有趣的东西。但对于它到底会有多困难，也许有人对此充满了乐观和天真。另一方面，我们在本文中实际讨论的很多硬件开发都有“类似于软件”的方面，这也使得工作看起来比实际要困难。但是当你有了谷歌和YouTube的人才和协作能力，这就让你的工作变得不那么令人畏惧了。

 

你在路上遇到的最大风险是什么，你是如何面对的？你遇到过很多反对者吗？

 

Jeff：总的来说，硬件是一个风险，因为它是一个长期承诺。因此，一个具体的基本风险是开发这种新芯片，并使它第一时间正确。你花了很多时间开发它，如果它不起作用，你必须返回修理它，再制造一个芯片。这会把一切都推迟很久。预先的是，我们实际上是用软件和专用的仿真硬件来模拟硬件——为了最大限度地降低风险，我们进行了大量的努力。至于反对者肯定存在的，但我们在公司硬件以及高管方面都有很多坚定的支持者，他们非常有先见之明，看到了我们所做的事情的价值。

 

这个新系统为视频基础架构的未来开创了怎样的先例？接下来要做什么？

 

Jeff：关于这件事要说明一点，这不是一个一次性的项目。一直以来，人们总是打算将多代芯片与两者之间的系统进行调优。它总是打算有多代芯片之间的系统调谐。我们在下一代芯片中要做的一件关键的事情就是加入了AV1，这是一种新的高级编码标准，其压缩比VP9更有效，并且具有更高的编码计算负载。

 

至于我，我将继续从事这个项目，持续更新迭代，这将使我忙上一阵子。

讲师招募 LiveVideoStackCon 2021 北京站

LiveVideoStackCon 2021 北京站（9月3-4日）正在面向社会公开招募讲师，欢迎通过 [e-mail] 提交个人及议题资料，无论你的公司大小，title高低，老鸟还是菜鸟，只要你的内容对技术人有帮助，其他都是次要的，我们将会在24小时内给予反馈。