Hadoop分布式集群搭建完全详细教程

Posted 2020-12-04

Hadoop分布式集群环境搭建步骤如下

实验环境：
系统：win7
内存：8G(因要开虚拟机，内存建议不低于8G)
硬盘：建议固态
虚拟机：VMware 12
Linux：Centos 7
jdk1.7.0_67
hadoop-2.5.0.tar.gz

1.安装VMware虚拟机环境
2.安装Centos操作系统
3.修改主机名配置网络
4.配置ssh无密码登录
5.上传jdk配置环境变量
6.上传hadoop配置环境变量
7.修改hadoop配置文件
8.格式化namenode
9.启动hadoop并测试
1安装VMware虚拟机环境
这一步很简单，直接下载安装包下一步，安装成功之后打开输入注册码

5A02H-AU243-TZJ49-GTC7K-3C61N
GA1T2-4JF1P-4819Y-GDWEZ-XYAY8
FY1M8-6LG0H-080KP-YDPXT-NVRV2
ZA3R8-0QD0M-489GP-Y5PNX-PL2A6
FZ5XR-A3X16-H819Q-RFNNX-XG2EA
ZU5NU-2XWD2-0806Z-WMP5G-NUHV6
VC58A-42Z8H-488ZP-8FXZX-YGRW8

2安装Centos操作系统
我这里安装了3台Linux，一台作为namenode，两台作为datanode，使用的是Centos7 64位，建议使用Centos，原因很简单，免费开源，属于重量级Linux,更接近生产环境，当然用其它版本也是可以的。
下载地址：http://isoredirect.centos.org/centos/7/isos/x86_64/CentOS-7-x86_64-DVD-1611.iso
安装过程很简单这里就不详述了。
还是要推荐下我自己创建的大数据学习交流Qun: 710219868 有大佬有资料， 进Qun聊邀请码填写 南风（必填 ）
有学习路线的分享公开课，听完之后就知道怎么学大数据了
3.修改主机名配置网络
namenode:master
datanode:slave1 slave2

执行以下命令
vi /etc/hostname
将localhost改为master
另外两台分别改为slave1和slave2
接着执行以下命令
vi /etc/hosts
将三台linux的ip和主机名加进去
192.168.149.138 master
192.168.149.139 slave1
192.168.149.140 slave2
以上地址根据自己主机填写

4配置ssh无密码登录
在master上执行以下命令

ssh-keygen
上一步执行完之后将会生成公钥和私钥
cd ~/.ssh
在.ssh目录执行ll命令会看到id_rsa和id-rsa.pub两个文件，第一个是私钥，第二个是公钥
然后执行
ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
ssh-copy-id -i /root/.ssh/id_rsa.pub [email protected]
这样就把公钥拷到了另外两台linux上
然后测试是否成功
ssh 192.168.149.139
如果不要密码则配置成功

5 上传jdk配置环境变量
将jdk上传至centos

执行以下命令
tar -zxvf jdk1.7.0_67
vi /etc/profile
将Java环境变量配置好之后
source /etc/profile 让配置生效
查看是否配好
java -version

6上传hadoop配置环境变量
将hadoop安装包上传至centos

执行以下命令
tar -zxvf hadoop-2.5.0.tar.gz
mv hadoop-2.5.0.tar.gz hadoop 重命名
配置hadoop环境变量同Java。PATH路径分别为bin和sbin
查看是否成功
hadoop version

7修改hadoop配置文件
需要修改的文件有 hadoop-env.sh core-site.xml hdfs-site.xml mapred-site.xml
yarn-site.xml

hadoop-env.sh

将JAVA_HOME路径添加进去

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://master:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
1
2
3
4
5
6
mapred-site.xml

<configuration>
<property>
　　　　　　　　<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
1
2
3
4
5
6
yarn-site.xml

<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
1
2
3
4
5
6
7
8
9
10
注意：配置完成后别忘了把master上的hadoop拷贝到slave1和slave2上，使用命令：scp -r /usr/local/haoop slave1:/usr/local/

8格式化namenode
执行以下命令
hadoop namenode -format
start-dfs.sh
start-yarn.sh

9启动hadoop并测试
master上执行以下命令测试

jps
如结果如下则表示搭建成功
ResourceManager
Jps
NameNode
NodeManager
SecondaryNameNode
slave1和slave2上执行以下命令测试
jps
NodeManager
DataNode
Jps

至此hadoop分布式集群环境搭建就成功了！