Hadoop DFS客户端安装
Posted
技术标签:
【中文标题】Hadoop DFS客户端安装【英文标题】:Hadoop DFSClient installation 【发布时间】:2013-07-07 08:08:09 【问题描述】:我运行 Hadoop 集群,我有兴趣再安装一台仅使用 DFSClient 的机器。
这台机器(我们称之为机器 X)不会成为集群的一部分。
机器 X 将运行 DFSClient,我应该能够从中看到 HDFS。
为了安装 DFSClient,我将 Hadoop 主目录从集群节点之一复制到机器 X(包括 .jar 文件和配置)。
然后我运行:
hadoop fs -ls /
我得到了本地 ROOT 目录(不是 HDFS ROOT)。
我做错了什么?
【问题讨论】:
能否提供core-site.xml的内容? 【参考方案1】:复制 hdfs-site.xml 并放在本地 linux 帐户主目录下的文件夹中。然后确保您的名称节点(default.fs.name)指向远程名称节点。然后尝试hadoop --config <your_config_folder> fs -ls /
your_config_folder 是您放置 hdfs-site.xml 的位置。
【讨论】:
【参考方案2】:如果完成以下步骤,从技术上讲它应该可以工作
如果你已经从hadoop集群复制了配置文件(*.xml)
。
HADOOP_HOME
使用复制的 hadoop 路径设置。
Machine X
应该可以访问集群网络
【讨论】:
以上是关于Hadoop DFS客户端安装的主要内容,如果未能解决你的问题,请参考以下文章
HDFS客户端环节准备--在Windows上安装hadoop