Centos7 安装hadoop2.7.3和jdk1.8

Posted 2020-12-04 TaoHF

 

下载好hadoop和jdk软件包，传到虚拟机上

第一步：安装jdk并配置环境变量

解压  tar -xvf 

配置环境变量

vim /etc/profile

 

#set java environment
export JAVA_HOME=/home/java/jdk1.8.0_171
export JRE_HOME=/home/javaa/jdk1.8.0_171/jre
export CLASSPATH=.:$JRE_HOME/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

 

 

 

 加载配置文件

source /ect/profile

测试 java  -version    javac  -version

第二步：安装hadoop

解压 tar -xvf *****     

重命名   mv A B

 

 进入到hadoop_27目录下，创建文件夹   hadoop_tmp,  hadoop_logs, hdfs, hdfs/data, hdfs/name

 

 

 

配置hadoop的haddop-enc.sh文件     vim ect/hadoop/hadoop-env.sh

添加jdk路径（JAVA_HOME路径）

          

 

 配置 yarn-env.sh文件 vim etc/hadoop/yarn-env.sh

          

 

配置core-site.xml文件

 

<configuration>
<!--set master location -->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
</property>
<!--set tmp dir -->
<property>
        <name>hadoop.tmp.dir</name>
        </value>file:/usr/local/hadoop_27/hadoop_tmp</value>

</property>

 

 

 配置hdfs-site.xml文件

 

 

 

 

设置hadoop的环境变量

#set hadoop environment
export HADOOP_HOME=/usr/local/hadoop_27
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

 

 

记得resource /etc/profile

 

第三步：启动hadoop

启动hadoop的时候遇到点问题，因为配置的伪分布式的，然后自定义了启动的tmp目录hadoop_27/hadoop_tmp

输入start-dfs.sh和start-yarn.sh后，只有5个进程起来了，namenode没有起来。

查看启动的日志发现，hadoop_tmp/dfs/name目录没有生成，不存在。

一开始以为是放在hadoop_27目录可能有问题，就放出来了一层  /usr/local/hadoop_tmp   和hadoop_27同一级，发现还是那个问题。

最后在网上找打了解决办法：参考博客

/usr/local/hadoop_27/hadoop_tmp的权限没有设置，进行以下两个命令的操作：

chown -R 用户：用户组  /usr/local/hadoop_27/hadoop_tmp

sudo chmod -R a+w  /usr/local/hadoop_2

 

执行后再启动  start-dfs.sh         jps

 

 

 

---

fighting!----thf