hadoop hadoop 单机伪分布式安装

Posted 2020-09-17 xwolf

准备：

  虚拟机(CentOS 6.9)

  JDK1.8

  hadoop2.8.0

  

一.JDK安装及配置

  rpm -ivh jdkxxxx 安装

  配置环境变量

  vim /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_121

export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile 使其立即生效

java -version 验证

　

二. hadoop 下载安装

 官网下载：http://hadoop.apache.org/releases.html ，下载 2.8.0 版本。

 解压缩到 /opt/hadoop/下

此处用root 用户来操作hadoop(推荐用新添加用户来操作).

开始配置hadoop

1. hadoop-env.sh

 配置java 

   

2. core-site.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/hadoop/hadoop/data</value>
</property>

<property>
<name>fs.default.name</name>
<value>hdfs://hadoop02:9000</value>

</property>
</configuration>

3. hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

 <property>
     <name>dfs.namenode.name.dir</name>
      <value>file:/opt/hadoop/hadoop/dfs/name</value>
</property>
<property>
   <name>dfs.datanode.data.dir</name>
    <value>file:/opt/hadoop/hadoop/dfs/data</value>
</property>
</configuration>

 

4.mapred-site.xml 

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>

5.yarn-env.sh

修改java

6. yarn-site.xml

<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>

三.启动hadoop

  执行 hdfs namenode -format

 启动hadoop 

 start-all.sh

停止hadoop

stop-all.sh

四、验证 

jps 查看

表示启动成功。

 

浏览器 输入 http://localhost:50070 查看hdfs 状态

 

 查看yarn 信息  http://localhost:8088

 

 

各个配置的详细信息 参考官网：

core-site 配置

hdfs配置

mapreduce配置

yarn 配置