hadoop fs -mkdir没有创建所需的文件夹

Posted 2021-03-27

我正在尝试执行简单的Hadoop Mapreduce Wordcount示例。我正在关注这个guide来运行该程序。

其中一个步骤是在hdfs文件系统上创建输入和输出文件夹。

hadoop dfs -mkdir -p /usr/local/hadoop/input

但这给了我这个错误：

已弃用：不建议使用此脚本执行hdfs命令。而是使用hdfs命令。

16/09/25 10:57:58 WARN util.NativeCodeLoader：无法为您的平台加载native-hadoop库...使用适用的builtin-java类

所以我尝试过：

hadoop fs -mkdir -p /usr/local/hadoop/input

输出：

16/09/25 10:59:09 WARN util.NativeCodeLoader：无法为您的平台加载native-hadoop库...使用适用的builtin-java类

但尚未创建输入文件夹。

我该怎么办？请帮忙！

答案

我怀疑正在创建文件夹，因为您发布的两个日志都没有显示错误。我想你只是在找错了地方。

你应该执行命令

hdfs dfs -ls /usr/local/hadoop/

并确认那里存在input目录。

您无法使用普通的Unix ls命令找到此目录。