参考大数据厦门大学林子雨编著的《大数据技术原理与应用（第3版）》中第三课《HDFS编程实践（Hadoop3.1.3）》遇到的bug

Posted 2021-10-08 一乐乐

参考大数据厦门大学林子雨编著的《大数据技术原理与应用（第3版）》中第三课《HDFS编程实践（Hadoop3.1.3）》遇到的bug

 

一、林子雨老师配套教材的网站：HDFS编程实践（Hadoop3.1.3）_厦大数据库实验室博客 (xmu.edu.cn)

二、参考大数据林子雨老师的网站过程中遇到的bug：

1，   –mkdir: Unknown command

我们仅需手动的敲进去即可。代码本身没有错，可能是因为字符编码不一致

原因：“-mkdir”的“-”字符编码错误。

 

2，创建用户目录时，没报错，但是（./bin/hdfs dfs –ls .）到根目录下没有发现 user/hadoop 文件

Hadoop根目录：是否是安装目录（非也，它是HDFS 系统的一个目录~ 至于在哪，

方式一：通过黑黑的终端查看，

方式二：通过web查看（因为：Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统。））

HDFS文件系统的根目录是/，用户主目录是/user/[hadoop用户名]

所有的文件都放在根目录及其子目录下。

/tmp用于hadoop操作的临时存储，

/user下的是用户空间，

/data/input应该是存放从本地上传至HDFS文件系统的文件，

/data/output应该是存放hadoop运行的结果。

 

3， Log4j：WARN No appenders could be found for logger(org.apache.hadoop.util.Shell)

解决：将以下方法插入到main函数中，可以自行打印日志信息了

BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。

 

 

 

参考文章：

《关于log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).的问题 - 亲爱的不二999 - 博客园 (cnblogs.com)》

 《HDFS文件系统的根目录和用户主目录解析》https://blog.csdn.net/qq_41808750/article/details/104667959