hadoop安装(踩完坑终极版)

Posted 2020-10-06

环境：CentOS 7.3 64位(64位的hadoop需要自己编译)

1、创建新用户

　　useradd -m hadoop -s /bin/bash                   创建hadoop用户并使用/bin/bash作为shell

　　passwd hadoop　　　　　　　　　　　　　　  给hadoop用户设置密码

　　visudo　　　　　　　　　　　　　　　　　　　给hadoop用户增加管理员权限，省得后面可能出现一些权限问题麻烦。在root    ALL=(ALL)       ALL下加上

　　　　　　　　　　　　　　　　　　　　　　　　hadoop  ALL=(ALL)       ALL

　　ok使用hadoop登陆

2、配置ssh无密码登陆

　　ssh-keygen　　　　　　　　　　　　　　　　　生成密钥

　　cd .ssh

　　cat id_rsa.pub >> authorized_keys　　　　　　加入授权

　　chmod 600 ./authorized_keys　　　　　　　　修改权限

3、安装java

　　sudo rpm -ivh jdk-8u144-linux-x64.rpm                   

　　sudo vim /etc/profile　　　　　　　　　　　　　　配置环境变量

　　　　加上export JAVA_HOME=/usr/java/default

　　　　　　export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
　　　　　　export PATH=$PATH:$JAVA_HOME/bin

4、sudo yum install cmake lzo-devel zlib-devel gcc gcc-c++ autoconf automake libtool ncurses-devel openssl-devel libXtst    （编译用）

5、安装protobuf(编译hadoop用)

　　sudo tar -zxf protobuf-2.5.0.tar.gz -C /usr/local/                 protobuf下载地址：

　　sudo mv protobuf-2.5.0/ protobuf

　　sudo ./configure

　　sudo make
　　sudo make install
　　protoc --version

6、安装maven(编译hadoop用)

　　sudo tar -zxf apache-maven-3.5.0-bin.tar.gz -C /usr/

　　配置环境变量

　　export MAVEN_HOME=/usr/apache-maven-3.5.0

　　export PATH=$PATH:$MAVEN_HOME/bin

7、编译

　　解压hadoop源码包

　　mvn clean package -Pdist,native -DskipTests -Dtar      编译，比较慢多等等

　　成功后，在hadoop-dist/target可以找到编译好的包