如何检查集群中使用的 hadoop 分布?
Posted
技术标签:
【中文标题】如何检查集群中使用的 hadoop 分布?【英文标题】:How to check the hadoop distribution used in my cluster? 【发布时间】:2017-08-22 18:37:01 【问题描述】:如何知道我的集群是使用 Hortonworks、Cloudera 设置还是正常安装 hadoop 组件?
另外我怎么知道各种服务的端口号?
【问题讨论】:
运行hadoop version
。
询问服务器管理员
【参考方案1】:
很难从端口号识别hadoop分布,因为Apache、Hortonworks、Cloudera发行版使用不同的端口号
其他选项是检查集群管理服务代理(Cloudera Manager - 代理启动脚本 - /etc/init.d/cloudera-scm-agent
,Hortonworks - Ambari 代理启动脚本 - /etc/init.d/ambari-agent
,Vanilla Apache hadoop 在服务器中不会有任何代理
另一个选项是检查hadoop类路径,下面的命令可以用来获取类路径。
`hadoop classpath`
大多数 hadoop 发行版在类路径中包含发行版名称,如果类路径不包含以下任何关键字,则发行版/设置将是 Apache/Normal 安装。
hdp - (Hortonworks)
cdh - (Cloudera)
【讨论】:
【参考方案2】:最简单的方法是运行 hadoop version 命令,在输出中您将看到您拥有的 Hadoop 版本以及您正在运行的发行版及其版本。如果你会找到像 cdh 或 hdp 这样的词,那么 cdh 代表 cloudera, hdp 代表 hortonworks。
例如,这里我有 cloudera,下面的 hadoop 版本命令是输出。 这里是第一行 Hadoop 版本,然后是 hadoop 发行版及其版本。
希望这会有所帮助。
【讨论】:
【参考方案3】:命令 hdfs 版本将为您提供 hadoop 版本及其分布
【讨论】:
如果您希望您的答案被投票,您需要添加一些细节,例如命令输出示例、如何查找信息等...以上是关于如何检查集群中使用的 hadoop 分布?的主要内容,如果未能解决你的问题,请参考以下文章