如何将 presto 集群集成到 hadoop 集群？

Posted 2023-03-21

【中文标题】如何将 presto 集群集成到 hadoop 集群？

【英文标题】：How do I integrate presto cluster to hadoop cluster?

【发布时间】：2019-09-08 15:44:42

【问题描述】：

我们有基于 ambari 的 Hadoop 集群 由于 thrift 服务器性能不佳，我们决定用 presto 替换它 我们当前的 Hadoop 集群有以下机器 960台数据节点机器（基于redhat 7 OS）

关于 presto- 的几句话 Presto（或 PrestoDB）是一个开源的分布式 SQL 查询引擎，从头开始设计用于对任何大小的数据进行快速分析查询。它支持非关系源，例如 Hadoop 分布式文件系统 (HDFS)，

我们安装了新的 presto 服务器如下 首先我们安装了操作系统（redhat 7），一共13台机器 1 台用于 presto 协调器的机器 还有 12 台机器供 presto 工人使用

安装操作系统后 我们成功安装了 presto（presto coordinator + presto workers）

现在我们被困在如何在 presto 集群和 Hadoop 集群之间进行集成

我将给出关于 hive 连接器 (hive.properties) 的简短示例

我们有以下变量 hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml

由于这个文件位于数据节点机器上，当然不在 presto worker 机器上，我假设我们需要将这些文件从数据节点机器复制到 presto worker 机器

我在吗？

【参考方案1】：

您通常不需要配置 hive.config.resources 以允许 Presto 与您的 HDFS 集群通信。尝试在没有该配置的情况下使用 Presto。仅当您有 Hadoop KMS 等特殊要求时才配置它。

要对其进行配置，请将适当的 Hadoop 配置文件复制到您的 Presto 机器（协调器和工作器），然后将 hive.config.resources 设置为指向这些文件。

有关详细信息，请参阅Hive connector documentation。