参考大数据厦门大学林子雨编著的《大数据技术原理与应用(第3版)》中第三课《HDFS编程实践(Hadoop3.1.3)》遇到的bug

Posted 一乐乐

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了参考大数据厦门大学林子雨编著的《大数据技术原理与应用(第3版)》中第三课《HDFS编程实践(Hadoop3.1.3)》遇到的bug相关的知识,希望对你有一定的参考价值。

参考大数据厦门大学林子雨编著的《大数据技术原理与应用(第3版)》中第三课《HDFS编程实践(Hadoop3.1.3)》遇到的bug

 

一、林子雨老师配套教材的网站:HDFS编程实践(Hadoop3.1.3)_厦大数据库实验室博客 (xmu.edu.cn)

二、参考大数据林子雨老师的网站过程中遇到的bug:

1,   –mkdir: Unknown command

我们仅需手动的敲进去即可。代码本身没有错,可能是因为字符编码不一致

原因:“-mkdir”的“-”字符编码错误。

 

2,创建用户目录时,没报错,但是(./bin/hdfs dfs –ls .)到根目录下没有发现 user/hadoop 文件

Hadoop根目录:是否是安装目录(非也,它是HDFS 系统的一个目录~ 至于在哪,

方式一:通过黑黑的终端查看,

方式二:通过web查看(因为:Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。同时还可以利用Web界面查看和管理Hadoop文件系统。))

HDFS文件系统的根目录是/,用户主目录是/user/[hadoop用户名]

所有的文件都放在根目录及其子目录下。

/tmp用于hadoop操作的临时存储,

/user下的是用户空间,

/data/input应该是存放从本地上传至HDFS文件系统的文件,

/data/output应该是存放hadoop运行的结果。

 

3, Log4j:WARN No appenders could be found for logger(org.apache.hadoop.util.Shell)

解决:将以下方法插入到main函数中,可以自行打印日志信息了

BasicConfigurator.configure(); //自动快速地使用缺省Log4j环境。

 

 

 

参考文章:

关于log4j:WARN No appenders could be found for logger (org.apache.hadoop.metrics2.lib.MutableMetricsFactory).的问题 - 亲爱的不二999 - 博客园 (cnblogs.com)

 《HDFS文件系统的根目录和用户主目录解析》https://blog.csdn.net/qq_41808750/article/details/104667959

 

以上是关于参考大数据厦门大学林子雨编著的《大数据技术原理与应用(第3版)》中第三课《HDFS编程实践(Hadoop3.1.3)》遇到的bug的主要内容,如果未能解决你的问题,请参考以下文章

大数据技术原理与应用——林子雨老师MOOC知识点一

大数据技术原理与应用 第三版 林子雨 期末复习大数据概述 第一章 P2

《大数据技术原理与应用》 复习笔记 (桂林电子科技大学)

大数据技术之HBase原理分析

实验 1 Linux 系统的安装和常用命令

6-认证技术原理与应用