如何检查集群中使用的 hadoop 分布?

Posted

技术标签:

【中文标题】如何检查集群中使用的 hadoop 分布?【英文标题】:How to check the hadoop distribution used in my cluster? 【发布时间】:2017-08-22 18:37:01 【问题描述】:

如何知道我的集群是使用 Hortonworks、Cloudera 设置还是正常安装 hadoop 组件?

另外我怎么知道各种服务的端口号?

【问题讨论】:

运行hadoop version 询问服务器管理员 【参考方案1】:

很难从端口号识别hadoop分布,因为Apache、Hortonworks、Cloudera发行版使用不同的端口号

其他选项是检查集群管理服务代理(Cloudera Manager - 代理启动脚本 - /etc/init.d/cloudera-scm-agent,Hortonworks - Ambari 代理启动脚本 - /etc/init.d/ambari-agent,Vanilla Apache hadoop 在服务器中不会​​有任何代理

另一个选项是检查hadoop类路径,下面的命令可以用来获取类路径。

`hadoop classpath`

大多数 hadoop 发行版在类路径中包含发行版名称,如果类路径不包含以下任何关键字,则发行版/设置将是 Apache/Normal 安装。

hdp - (Hortonworks) 
cdh - (Cloudera)

【讨论】:

【参考方案2】:

最简单的方法是运行 hadoop version 命令,在输出中您将看到您拥有的 Hadoop 版本以及您正在运行的发行版及其版本。如果你会找到像 cdh 或 hdp 这样的词,那么 cdh 代表 cloudera, hdp 代表 hortonworks。

例如,这里我有 cloudera,下面的 hadoop 版本命令是输出。 这里是第一行 Hadoop 版本,然后是 hadoop 发行版及其版本。

希望这会有所帮助。

【讨论】:

【参考方案3】:

命令 hdfs 版本将为您提供 hadoop 版本及其分布

【讨论】:

如果您希望您的答案被投票,您需要添加一些细节,例如命令输出示例、如何查找信息等...

以上是关于如何检查集群中使用的 hadoop 分布?的主要内容,如果未能解决你的问题,请参考以下文章

Hadoop分布式集群的搭建

Hadoop学习笔记—13.分布式集群中节点的动态添加与下架

Hadoop分布式集群环境搭建

Hadoop-HA集群

Hadoop完全分布式集群搭建

Hadoop的伪分布式安装