cloudera Impalad 实例如何工作?

Posted

技术标签:

【中文标题】cloudera Impalad 实例如何工作?【英文标题】:how does cloudera Impalad instance works? 【发布时间】:2014-01-23 16:09:48 【问题描述】:

我正在使用 cloudera impala,我在一台机器上启动了 statestore,在所有机器节点上启动了 imapalad 实例。 ipalad 和 statestore 的每个实例如何知道所有其他 impalad 实例在查询时分配负载。我已经设置了配置,但我没有在哪里为他们指定数据节点列表。

谢谢。

【问题讨论】:

【参考方案1】:

Statestore(running as statestore) 执行以下操作:

    检查集群中所有节点的健康状况,并不断将信息传递给所有恶魔(impalad) 只有一个 statestore 就足够了。 如果没有可用的statestore,恶魔仍然可以工作,但集群变得不那么健壮了。 当statestore重新上线时,它会重新建立与其他节点的连接并恢复其监控功能。

【讨论】:

每个 impalad 如何知道在所有 impalad 之间分发查询所需的其他 impalad 位置 cos..【参考方案2】:

有关 Impala 工作原理的信息,请参阅 this

如果您想在 impala 实例之间平衡负载,您可以通过引入负载平衡器来实现。

【讨论】:

impala中分配的数据在哪里? @johnsam 我知道你的问题“impala 中的数据分配在哪里?”请详细说明..

以上是关于cloudera Impalad 实例如何工作?的主要内容,如果未能解决你的问题,请参考以下文章

如何重启Cloudera Manager

如何修改cloudera默认的java路径

Centos-6.5安装CDH-5.9.0教程

Cloudera RImpala 连接不工作

CM (Cloudera Manager) 的安装,便于CDH的离线部署

在 Cloudera 中外部化 Oozie 工作流的属性