使用 Presto 和 Alluxio 在 AWS 上搭建高性能平台来支持实时游戏服务

Posted 2022-08-10 Alluxio

概要速览

美国艺电 (EA) 是游戏行业的翘楚，每年为全球几十亿用户提供数十款游戏。能否针对EA的在线服务做出近实时决策对于业务发展至关重要。本文介绍了在AWS上搭建的基于Presto和Alluxio的数据平台，如何为游戏产业提供即时响应的在线服务。

EA的数据与人工智能部门搭建了数百个平台，来管理游戏和用户每天产生的PB级数据。这些平台包含从实时数据导入到 ETL工作流在内的各类数据分析作业。部门产生的格式化数据已经被公司高管、制作人、产品经理、游戏工程师和设计师等广泛采纳，用于市场营销和货币化、游戏设计以及提升客户参与度、玩家留存率和终端用户体验。

用例

EA的在线服务需要能够获取近实时信息，这对于制定业务相关的决策（如推广活动和故障排查）至关重要。这些服务包括但不限于实时数据可视化、仪表板（dashboarding) 和会话分析，我们的团队正在积极寻找可以支持这些用例的框架。

在EA，为获取支持决策的数据分析结果，我们采用了诸如 Tableau 和 Dundas等一系列的数据可视化工具。这些工具通常连接多个数据源，例如 mysql DB、AWS S3 或 HDFS。用户可能同时从多个数据源加载数据来运行计算复杂度较高的算法。由于数据加载是 I/O 密集型的，因此可能成为严重的性能瓶颈。尤其当相同的数据需要被多次加载时，性能瓶颈问题可能更严重。因此，我们需要一种解决方案，通过在本地缓存数据的方式来降低数据的访问开销。

仪表板是另一个常见的用例，用于实时追踪用户参与度、客户满意度或系统状态。在这些场景下，数据量通常是GB级的，但需要能够对频繁的信息刷新进行即时处理。目前，我们使用Redshift等商业数据库来处理时间敏感型数据，希望寻求一种在不降低性能的情况下削减成本的替代方案。

我们最近开发了一款汇报式聊天机器人，来提供即时的游戏相关分析，例如实时用户满意度和实时利润分析。该系统的后端运行 Presto，PB级的数据存储在 S3 上。聊天机器人会将用户的提问转换为 ANSI SQL查询语句，并在 Presto 集群上运行这些查询。查询通常会涉及复杂的计算过程，例如在跨数据集搜索后进行预测和合并。我们迫切希望找到一种解决方案，与基于S3存储的数据集互补，确保在不增加成本的情况下提高性能。

架构

为了服务这些具有近实时需求的不同用例，我们搭建并评估了以Presto为查询引擎，S3为数据存储，Alluxio为作业数据集缓存层的数据平台。文中，我们模拟了上述在当前生产环境中搭建的基于S3的 Presto（没有Alluxio）架构，与环境设置（Presto和S3）相同但部署了Alluxio的技术方案进行比较。架构如下图所示：

关于设置的具体信息如下：

√ 每个实例启动并置的Presto 和Alluxio服务。

√ 硬件方面，我们使用了三个 h1.8xlarge AWS 实例，每个实例上都挂载了 8TB 临时磁盘，供Alluxio把数据缓存到Presto 的本地位置。

S3 作为底层持久文件系统挂载到Alluxio。

√ Presto 配置了两个目录；一个连接到我们现有的 Hive metastore，关联到存储在外部S3 上的基准测试数据集，另一个连接到一个单独的Hive metastore，其中包含在 Alluxio 中创建的基准测试数据表。

√ 我们在 S3 上使用相同的数据集进行性能比较，并通过 alluxio fs distributedLoad /testDB指令将数据预加载到 Alluxio。

√ 为了提升处理海量小文件时的查询性能，我们在alluxio-site.properties 中启用了元数据缓存功能来进行性能调优。

alluxio.user.metadata.cache.enabled=true

alluxio.user.metadata.cache.max.size=100000

alluxio.user.metadata.cache.expiration.time=10min

基准测试结果

我们选取了代表各类工作负载的四个独立基准测试。基线（baseline)是 Presto 直接查询 S3 时的性能。

基准测试1

测试1是我们对玩家在游戏中事件的内部合成快照，代表 I/O 密集型用例。测试的三个数据集的总数据大小分别为 1GB、10GB 和 100GB，文件为 ORC 格式。每个数据集都是使用相同的 DDL 创建的，包含 49 个 cols（列）、40 个 varchar、5个布尔值和 4个映射。基准测试查询选取所有列以及针对一个varchar 字段的过滤条件。

结果

使用Alluxio缓存数据后，Presto 的性能比基线直接查询S3时的性能快 2 ~ 7倍。

基准测试2

使用游戏元数据和用户参与记录模拟数据可视化。这是一个典型的CPU 和 I/O 密集型查询。我们一共选用了两组数据集和两个查询，分别是Tableau 和 Dundas 中的常用查询，查询选择所有符合日期过滤条件的列，然后对日期字段进行 GROUP BY 和 ORDER BY操作。在这个测试中，我们特意禁用了（已显示出卓越性能提升的）Alluxio元数据缓存功能，以便了解数据缓存在这里起到的作用。

结果

在没有元数据缓存的情况下，在Dundas数据集上使用Alluxio的Presto查询速度比S3快2.75倍，在 Tableau数据集上比S3快 5.1 倍。

基准测试3

使用包含海量小文件的数据集来模拟我们的仪表板用例。数据集是一批 2MB 的文件，总数分别是50、500 和 5000 个文件。使用的查询是聚合每个日期条目数的select查询。

结果

使用元数据缓存功能的Alluxio比 S3 快 1.2 ~ 5.9 倍。如果不启用元数据缓存，Alluxio 实现的性能提速仅为 1 ~1.35 倍。启用元数据缓存可通过记忆元数据、识别热数据和增加副本来显著缩短执行时间。

基准测试4

模拟对话机器人，使用的数据集是每日游戏性能的快照。为模拟 CPU 密集型查询，该查询包含多个计算阶段，将整数字段( integer field) 转换为 HyperLogLog，然后合并, 再选择基数，最后将integer和 varchar 字段作为过滤条件得出结果。

结果

不使用元数据缓存的 Alluxio 可以将查询时间从 85.2 秒缩短到 3 秒，性能提高了 27 倍。

结论

本文探讨了一个支持游戏行业的在线服务即时响应的创新平台，平台使用 Presto 作为计算引擎，把Alluxio 作为 Presto 和 S3 存储之间的数据编排层。我们通过数据可视化、仪表板和会话聊天机器人三个真实行业案例对该平台进行性能评估。

初步测试结果表明， Presto+Alluxio 的部署在所有情况下的性能都显著优于 S3。特别是当Alluxio启用元数据缓存功能后在处理海量小文件时更是实现了高达 5.9 倍的性能提升。Alluxio 通过管理所分配的临时磁盘，将S3中的数据缓存到 Presto的本地位置，从而实现存储和计算的分离。在测试的每个场景中，我们可以观察到性能提升主要得益于Alluxio的高级缓存管理能力，能够针对数据的冷热程度来区别化创建不同数量的副本。

文章作者：

Teng Wang, Du Li, Yu Jin and Sundeep Narravula

原文发表于2020年8月6日