使用边缘节点运行 Hadoop 集群时如何连接到 Impala

Posted

技术标签:

【中文标题】使用边缘节点运行 Hadoop 集群时如何连接到 Impala【英文标题】:How to connect to Impala when running Hadoop Cluster with Edge Nodes 【发布时间】:2016-12-04 23:55:45 【问题描述】:

我已经使用 Cloudera Manager 安装了 Hadoop 集群,目前 Impala Daemon 正在所有数据节点上运行。集群在 Gateway/Edge 节点之后,Edge 节点上只安装了网关服务(例如 httpfs、hive 网关、spark 网关、oozie)。

我想知道如何使用网关/边缘节点连接 Impala,因为所有 impala 守护程序都在集群的数据节点上运行,并且没有服务暴露给网关/边缘节点。

【问题讨论】:

可以在边缘节点上安装impala CLI cloudera.com/documentation/enterprise/5-8-x/topics/… 问题不在于 Impala CLI,我已经在边缘节点上安装了 Impala CLI。问题是我的 hadoop 集群位于边缘节点后面,因此要在我的 hadoop 集群上执行任何操作,我必须连接到在数据节点上运行的 impala 守护程序之一,我将无法从外部连接。我将尝试 facha 建议的 HA 方法。 呃...注意在“HAProxy”中,重要的部分是proxy,而不是HA...因为那个代理会变成,de facto i>,单点故障。高可用性就这么多。 是的,没错,我只是在寻找代理服务,它可以将我的流量重定向到集群中运行的 impala 守护程序之一。 【参考方案1】:

您可以在边缘节点上安装 haproxy:

https://www.cloudera.com/documentation/enterprise/5-2-x/topics/impala_proxy.html

【讨论】:

以上是关于使用边缘节点运行 Hadoop 集群时如何连接到 Impala的主要内容,如果未能解决你的问题,请参考以下文章

从日食访问Hadoop群集

apache pig没有连接到hdfs

Hadoop集群-集群搭建踩的那些坑之ssh篇

Hadoop集群-集群搭建踩的那些坑之ssh篇

RabbitMQ 集群:无法连接到节点:nodedown

为啥我的客户端应该只连接到一个子节点集群工作人员时接收来自所有子节点集群工作人员的套接字发射?