Hadoop DFS客户端安装

Posted

技术标签:

【中文标题】Hadoop DFS客户端安装【英文标题】:Hadoop DFSClient installation 【发布时间】:2013-07-07 08:08:09 【问题描述】:

我运行 Hadoop 集群,我有兴趣再安装一台仅使用 DFSClient 的机器。

这台机器(我们称之为机器 X)不会成为集群的一部分。

机器 X 将运行 DFSClient,我应该能够从中看到 HDFS。

为了安装 DFSClient,我将 Hadoop 主目录从集群节点之一复制到机器 X(包括 .jar 文件和配置)。

然后我运行:

hadoop fs -ls /

我得到了本地 ROOT 目录(不是 HDFS ROOT)。

我做错了什么?

【问题讨论】:

能否提供core-site.xml的内容? 【参考方案1】:

复制 hdfs-site.xml 并放在本地 linux 帐户主目录下的文件夹中。然后确保您的名称节点(default.fs.name)指向远程名称节点。然后尝试hadoop --config <your_config_folder> fs -ls / your_config_folder 是您放置 hdfs-site.xml 的位置。

【讨论】:

【参考方案2】:

如果完成以下步骤,从技术上讲它应该可以工作

如果你已经从hadoop集群复制了配置文件(*.xml)HADOOP_HOME 使用复制的 hadoop 路径设置。 Machine X 应该可以访问集群网络

【讨论】:

以上是关于Hadoop DFS客户端安装的主要内容,如果未能解决你的问题,请参考以下文章

安装配置Hadoop

HDFS客户端环节准备--在Windows上安装hadoop

HDFS客户端环节准备--在Windows上安装hadoop

关于hadoop在Windows下安装的问题,求大戏帮忙。

hadoop安装教程

Hadoop2.0安装之非HA版