将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群
Posted
技术标签:
【中文标题】将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群【英文标题】:Add applications (Ganglia, Impala, Hunk) to running EMR Cluster 【发布时间】:2015-05-27 23:31:40 【问题描述】:我创建了一个 EMR 集群,但忘记添加一些我想玩的应用程序。这是一个“长期运行”的集群,所以我不能只创建一个新的。
如何将Ganglia
、Impala
和Hunk
添加到正在运行的集群?
此外,还有什么需要做的事情才能让HBase
向Ganglia
报告指标?
【问题讨论】:
最好的方向是新集群。 Hbase 可以备份到 S3 (docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/…),然后在另一个集群上恢复。或者,您可以在运行的集群之间执行集群到集群的 HDFS 复制,或者复制到 S3 并返回以获取其他数据。是什么让仅更换集群变得困难? 感觉就像是错误的方法。这可能并不困难,但它涉及更改其他组件的配置并可能造成停机。 没有自动安装方式。如果需要,您可以手动安装它。但是您必须在所有节点上执行此操作。最好的选择是备份 S3 中的数据并启动一个新集群。 【参考方案1】:你可以试试
sudo yum install impala
sudo yum install impala-shell
(source)
但我从来没有这样做过,所以不能保证;)
【讨论】:
以上是关于将应用程序(Ganglia、Impala、Hunk)添加到运行 EMR 集群的主要内容,如果未能解决你的问题,请参考以下文章
大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk
大数据分析:结合 Hadoop或 Elastic MapReduce使用 Hunk
(原)patching file 出现 Hunk #1 FAILED at xxx(different line endings).