将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群

Posted

技术标签:

【中文标题】将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群【英文标题】:Add applications (Ganglia, Impala, Hunk) to running EMR Cluster 【发布时间】:2015-05-27 23:31:40 【问题描述】:

我创建了一个 EMR 集群,但忘记添加一些我想玩的应用程序。这是一个“长期运行”的集群,所以我不能只创建一个新的。

如何将GangliaImpalaHunk 添加到正在运行的集群?

此外,还有什么需要做的事情才能让HBaseGanglia 报告指标?

【问题讨论】:

最好的方向是新集群。 Hbase 可以备份到 S3 (docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/…),然后在另一个集群上恢复。或者,您可以在运行的集群之间执行集群到集群的 HDFS 复制,或者复制到 S3 并返回以获取其他数据。是什么让仅更换集群变得困难? 感觉就像是错误的方法。这可能并不困难,但它涉及更改其他组件的配置并可能造成停机。 没有自动安装方式。如果需要,您可以手动安装它。但是您必须在所有节点上执行此操作。最好的选择是备份 S3 中的数据并启动一个新集群。 【参考方案1】:

你可以试试

sudo yum install impala
sudo yum install impala-shell

(source)

但我从来没有这样做过,所以不能保证;)

【讨论】:

以上是关于将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群的主要内容,如果未能解决你的问题,请参考以下文章

将Solr指标推送到Ganglia时出错

大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk

大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk

(原)patching file 出现 Hunk #1 FAILED at xxx(different line endings).

Ganglia 应用实践

ganglia分布式监控系统