Presto 是不是支持 HDP2 高可用性配置?

Posted

技术标签:

【中文标题】Presto 是不是支持 HDP2 高可用性配置?【英文标题】:Does Presto support HDP2 High Availability configuration?Presto 是否支持 HDP2 高可用性配置? 【发布时间】:2015-05-23 20:27:19 【问题描述】:

我已经在 2 个名称节点上设置了 5 个数据节点集群,在我的 Hadoop 2.6.0 集群中配置了高可用性。我的 Presto 配置基于 1 个 Co-ordinator 节点和 3 个工作节点。

当我的集群是单个名称节点集群时,我一直在使用 hive 元存储从 presto 进行查询。但是现在在配置 HA 之后,我在使用 presto 访问我的 hdfs 时遇到问题,如下所示:

Query 20150320_120620_00004_vgrag failed: java.net.UnknownHostException: mycluster

其中 mycluster 是两个名称节点(活动和备用)的组合。谁能帮我解决这个错误。或者至少有人告诉我 presto 是否支持 HA Hadoop 集群?

【问题讨论】:

【参考方案1】:

我遇到了完全相同的问题(尽管我使用的是 CDH),就我而言,它有助于将此条目添加到 etc/catalog/hive.properties

hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml (正如 presto 的 documentation 所建议的)

【讨论】:

以上是关于Presto 是不是支持 HDP2 高可用性配置?的主要内容,如果未能解决你的问题,请参考以下文章

DataX Hdfs HA(高可用)配置支持

Presto SQL 是不是像 SQL Server 一样支持使用 CTE 进行递归查询?例如员工等级

Presto 在美图的实践

presto 是不是需要配置单元元存储才能从 S3 读取镶木地板文件?

nginx实现高可用

RabbitMQ集群和高可用配置