hadoop2.7的目录结构

Posted 2020-10-06 牛头人

1.$HADOOP_HOME/bin目录下文件及作用

文件名称	说明
hadoop	用于执行hadoop脚本命令，被hadoop-daemon.sh调用执行，也可以单独执行，一切命令的核心

2.$HADOOP_HOME/sbin目录下文件及作用

文件名称	说明
hadoop-daemon.sh	通过执行hadoop命令来启动/停止一个守护进程(daemon)；该命令会被bin目录下面所有以start或stop开头的所有命令调用来执行命令， hadoop-daemons.sh也是通过调用hadoop-daemon.sh来执行命令的，而hadoop-daemon.sh本身就是通过调用hadoop命令来执行任务。
start-all.sh	全部启动，它会调用start-dfs.sh及start-mapred.sh
start-dfs.sh	启动NameNode、DataNode以及SecondaryNameNode
start-mapred.sh	启动MapReduce
stop-all.sh	全部停止，它会调用stop-dfs.sh及stop-mapred.sh
stop-balancer.sh	停止balancer
stop-dfs.sh	停止NameNode、DataNode及SecondaryNameNode
stop-mapred.sh	停止MapReduce

3.$HADOOP_HOME/etc/hadoop目录下文件及作用

文件名称	说明
core-site.xml	Hadoop核心全局配置文件，可以其他配置文件中引用该文件中定义的属性，如在hdfs-site.xml及mapred-site.xml中会引用该文件的属性； 该文件的模板文件存在于$HADOOP_HOME/src/core/core-default.xml，可将模板文件复制到conf目录，再进行修改。
hadoop-env.sh	Hadoop环境变量
hdfs-site.xml	HDFS配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/hdfs/hdfs-default.xml，可将模板文件复制到conf目录，再进行修改
mapred-site.xml	MapReduce的配置文件，该模板的属性继承于core-site.xml；该文件的模板文件存于$HADOOP_HOME/src/mapred/mapredd-default.xml， 可将模板文件复制到conf目录，再进行修改
slaves	用于设置所有的slave的名称或IP，每行存放一个。如果是名称，那么设置的slave名称必须在/etc/hosts有IP映射配置

4.$HADOOP_HOME/lib目录

该目录下存放的是Hadoop运行时依赖的jar包，Hadoop在执行时会把lib目录下面的jar全部加到classpath中。

5.$HADOOP_HOME/logs目录

该目录存放的是Hadoop运行的日志，查看日志对寻找Hadoop运行错误非常有帮助。

6.$HADOOP_HOME/include目录
对外提供的编程库头文件（具体动态库和静态库在lib目录中），这些头文件均是用C++定义的，通常用于C++程序访问HDFS或者编写MapReduce程序。
7.$HADOOP_HOME/libexec目录
各个服务对用的shell配置文件所在的目录，可用于配置日志输出、启动参数（比如JVM参数）等基本信息。
8.$HADOOP_HOME/share目录
Hadoop各个模块编译后的jar包所在的目录。