安装hadoop遇到的小问题及解决办法

Posted 2020-09-15

由于安装的2.2.0版本的hadoop 

遇到了几个问题，最终还是解决了，问题汇总及解决办法如下：

1.sbin/start-all .sh完毕后，jps没有namenode?

--------由于我自己只在core-site.xml中配置了fs.default.name,没有考虑到hadoop的tmp目录的自动删除，因此需要在core-site.xml增加tmp文件的配置：

<name>hadoop.tmp.dir</name>

<value>此处增加自己安装的hadoop路径，再加上自定义目录</value>

2.hadoop fs等命令无法使用？

---------这个原因是没有配置HADOOP_HOME的环境变量：

sudo vi ~/.bashrc  文件（我是用的ubuntu系统）：

export HADOOP_HOME=/usr/local/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_HOME=$HADOOP_HOME
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server:/usr/local/lib:$HADOOP_HOME/lib/native
export JAVA_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_LIBRARY_PATH

----在这之前还需要配置好JAVA环境变量
3.运行MAPREDUCE程序的时候，web段无法链接到history端口：
请参考：http://blog.csdn.net/u014288743/article/details/70455966

1 首先确保jobhistory服务启动，使用命令mr-jobhistory-daemon.sh start historyserver启动。

2 配置host文件，集群的host文件和你的本机电脑的host文件都要配置。因为页面中history链接地址使用的是域名访问，如图 

　　　　

　　3 关闭集群机器的防火墙，或者配置防火墙访问列表。

　　4 如果你使用root用户启动过Hadoop集群，那么Hadoop自动将集群的logs目录（Hadoop安装目录下）所属组改为roo组，那么当你再次使用其他用户启动Hadoop集群时则没有权限访问logs目录，自然也就无法写日志了。