centos6.5搭建hadoop单节点

Posted 2020-10-01 不自然地坚持

1.添加用户

groupadd  hadoop

useradd -d /home/hadoop -m hadoop -g hadoop   

passwd hadoop    修改密码

付给用户sudo权限

vi /etc/sudoers

在root ALL=(ALL) ALL下面添加

hadoop ALL=(ALL) NOPASSWD:ALL

2.安装jdk

2.1.官网下载地址  下载rpm包

2.2 上传到服务器中，安装

sudo rpm -ivh jdk-8u144-linux-x64.rpm

2.3 配置环境变量

vi ~/.bashrc

export JAVA_HOME=/usr/java/jdk1.8.0_144
export PATH=$PATH:$JAVA_HOME/bin

3.安装hadoop

3.1.下载

下载地址：http://hadoop.apache.org/releases.html  

选择要安装的版本，选择binary

3.2 上传

3.3 解压

tar  -zxvf hadoop-2.8.1.tar.gz -C  /opt/hadoop    #我这里解压到家目录

3.4 修改 etc/hadoop/hadoop-env.sh 文件

设置java的环境变量

# The java implementation to use.
export JAVA_HOME=/usr/java/jdk1.8.0_144

3.5修改 etc/hadoop/core-site.xml 文件

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

3.6 设置免密钥登录

  $ ssh-keygen -t rsa -P ‘‘ -f ~/.ssh/id_rsa
  $ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
  $ chmod 0600 ~/.ssh/authorized_keys

3.7 格式化文件系统

 $ bin/hdfs namenode -format

3.8 运行第一个hadoop程序

 $ sbin/start-dfs.sh  #启动dfs
  $ bin/hdfs dfs -mkdir /user   #dfs上创建/user目录
  $ bin/hdfs dfs -mkdir /user/hadoop #dfs上创建/user/hadoop目录
  $ bin/hdfs dfs -mkdir input   #dfs上创建/user/hadoop/input目录
  $ bin/hdfs dfs -put etc/hadoop/*.xml input #将etc/hadoop目录下的xml文件放到dfs上的/user/hadoop/input下
  $bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar wordcount input output 
　#运行hadoop提供的jar包下的wordcount程序 输入路径为/user/hadoop/input 输出路径为/user/hadoop/output
  $ bin/hdfs dfs -get output output  #将dfs的output目录复制到当前目录的output
  $ cat output/*  #查看wrodcount执行的结果
  $ sbin/stop-dfs.sh  #关闭dfs系统

3.9 Enjoy