Hadoop 部署之环境准备

Posted 2021-01-20

一、软硬件规划

ID	主机类型	主机名	IP	应用软件	操作系统	硬件配置
1	物理机	namenode01	192.168.1.200	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
2	物理机	datanode01	192.168.1.201	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
3	物理机	datanode02	192.168.1.202	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储
4	物理机	datanode03	192.168.1.203	jdk1.8.0_171、hadoop-2.7.3、hive-2.3.3、hbase-1.2.6、zookeeper-3.4.10、spark-2.3.1	CentOS7.4	6核CPU、8G内存、250存储

二、主机名解析

修改四台服务器的主机名。

192.168.1.200 namenode01 hbase01 spark01 hive01
192.168.1.201 datanode01 hbase02 spark02 zk01 mysql01
192.168.1.202 datanode02 hbase03 spark03 zk02
192.168.1.203 datanode03 hbase04 spark04 zk03

三、配置 SSH 互信

ssh-keygen -t rsa
ssh-copy-id namenode01
ssh-copy-id datanode01
ssh-copy-id datanode02
ssh-copy-id datanode03

四、创建用户

# 创建用户（4台机器相同操作）
useradd hadoop && echo ‘123456‘ |passwd --stdin hadoop

# 设置用户权限（4台机器相同操作）
vim /etc/sudoers
echo "hadoop    ALL=(ALL)       ALL" >> /etc/sudoers

五、JDK 的安装

下载JDK1.8，可以选择下载rpm包，直接安装即可使用。
https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html