Hadoop hdfs 显示 ls: `/home/hduser/input/': No such file or directory 错误

Posted 2023-04-18

【中文标题】Hadoop hdfs 显示 ls: `/home/hduser/input/\': No such file or directory 错误

【英文标题】：Hadoop hdfs showing ls: `/home/hduser/input/': No such file or directory errorHadoop hdfs 显示 ls: `/home/hduser/input/': No such file or directory 错误

【发布时间】：2015-01-02 13:15:42

【问题描述】：

我已经使用this tutorial 在单台机器上安装了Hadoop 2.6。我使用的是 Ubuntu 12.04 机器和 Java 版本 1.6.0_27。

我为 Hadoop 操作创建了单独的用户作为 hduser。 我已经设置了 HADOOP_HOME 环境变量的值 /usr/local/hadoop 我已经提取了 Hadoop 分布。

现在我关注example。但是当我执行命令$HADOOP_HOME/bin/hdfs dfs -ls /home/hduser/input/ 时会出现以下错误-

15/01/02 18:32:38 WARN util.NativeCodeLoader：无法为您的平台加载 native-hadoop 库...在适用的情况下使用内置 java 类 ls: `/home/hduser/input/': 没有这样的文件或目录

我也试过命令： $HADOOP_HOME/bin/hdfs dfs -mkdir /home/hduser/input/，但仍然出现同样的错误。

当我运行命令 jps 时，它显示 -

16023 SecondaryNameNode
16200 ResourceManager
16432 NodeManager
18971 Jps
15503 NameNode

它没有显示 JobTracker 和 TaskTracker 的任何进程。

如何解决此错误并启动/列出 JobTracker 和 TaskTracker 的流程？

【参考方案1】：

您正在尝试使用 hdfs 访问您的本地目录。请尝试以下步骤：

export PATH=$HADOOP_HOME/bin:$PATH ##Make this entry in your ~/.bashrc file
hdfs dfs -mkdir /user
hdfs dfs -mkdir /user/hduser
hdfs dfs -mkdir /user/hduser/input
hdfs dfs -ls /user/hduser/input
echo "Hello World" > file01
hadoop fs -copyFromLocal /user/hduser/input
hadoop fs -cat /user/hduser/input/file01

【讨论】：

感谢您的宝贵回复。我已按照上述步骤成功执行。但是当我给出命令 hdfs dfs -cat /user/hduser/input/file01 时，它显示错误 cat: `/user/hduser/input/file01': No such file or directory

您需要先创建文件或从本地文件系统复制到hdfs然后读取。我已经编辑了答案以照顾同样的问题。

哦。知道了。我跟着你的步骤。我认为您在 -copyFromLocal 命令中错过了源文件名“file01”。你的步骤奏效了。但我得到 DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/hduser/input/file01._COPYING_ can only be replicated to 0 nodes instead of minReplication (=1) .有 0 个数据节点正在运行，并且此操作中没有排除任何节点 错误。感谢您的回复

您的数据节点已关闭，目前还可以。

是的，就像我已经提到的那样，没有为 Jobtracker 和 Tasktracker 运行的进程。我正在看。