原创安装和部署Hadoop

Posted 2020-07-06

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了原创安装和部署Hadoop相关的知识，希望对你有一定的参考价值。

安装和部署Hadoop

一、安装虚拟机

1、服务器配置信息

Linux主机一		Linux主机二		Linux主机三
主机名：master		主机名：host1		主机名：host2
IP:192.168.100.100		IP:192.168.100.101		IP:192.168.100.100
HDFS	MapReduce	HDFS	MapReduce	HDFS	MapReduce
NameNode	JobTracker	DataNode	TaskTracker	DateNode	TaskTracker

二、修改主机名

l 命令：[[email protected] ~] vim /etc/sysconfig/network

打开文件后，

NETWORKING=yes #使用网络

HOSTNAME=master #设置主机名

l 命令：hostname master #立即生效

l 查看主机名命令: [[email protected]~] hostname

三、设置网络参数

l 命令：[[email protected] ~ ] vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=eth0　　　　　　　　　#对应第一张网卡

TYPE=Ethernet

ONBOOT=yes　　　　　　　　　　#是否启动时运行

NM_CONTROLLED=yes

BOOTPROTO=static　　　　　　　#使用静态IP，而不是由DHCP分配IP

DEFROUTE=yes

IPV4_FAILURE_FATAL=yes

IPV6INIT=no

NAME="System eth0"　　　　　　#名称

HWADDR=00:50:56:94:04:3C　 #必须对应etho是的MAC地址（/etc/udev/rules.d/70-persistent-net.rules）

PEERDNS=yes

PEERROUTES=yes

IPADDR=192.168.1.128　　　　#指定本机IP地址

NETMASK=255.255.255.0　　　 #指定子网掩码

GATEWAY=192.168.1.2　　　　 #指定网关

DNS1=192.168.1.2

l 重启网络

[[email protected] ~ ] service network restart

四、修改虚拟机的Hosts文件

l 分别在master、host1、host2三台机器上配置hosts。

l 命令：[[email protected] ~ ] vim /etc/hosts

l host文件配置为：

192.168.100.100 master

192.168.100.101 host1

192.168.100.102 host2

五、配置SSH无密码登录

1、生成公钥私钥

在三台主机上执行生成公钥私钥命令：

[[email protected] ~ ] ssh-keygen –t rsa

一路回车就创建了无密码的公钥私钥，存放在/home/chybin/.ssh文件夹下。

id_rsa是私钥

id_rsa.pub是公钥

2、复制master的公钥

[[email protected] ~ ] sudo ~/.ssh/id_rsa.pub >> authorized_keys

3、将master上的公钥发送给host1、host2

[[email protected] ~ ] sudo scp authorized_keys [email protected]:~/.ssh

4、修改authorized_keys权限

在master、host1、host2上修改authorized_keys文件的属性

[[email protected] ~ ] chmod 644 ~/.ssh/authorized_keys

5、测试是否成功

在master上用ssh连接host1、host2

[[email protected] ~ ] ssh host1

第一次让输入密码，可以输入多个exit命令退出ssh后，再次ssh host1，就不用输入密码了。

六、安装Java JDK

l 先判断是否已经安装了Java jdk，用命令 [[email protected] ~ ] java –version

l 复制jdk-7u79-linux-x64.rpm到master随便一个目录中

l 安装jdk，命令：[[email protected] ~ ] # rpm –ivh ~/jdk-7u79-linux-x64.rpm.rpm

l 安装目录在/usr/java里，这时候用 java -version 就可以验证是否安装成功了。

七、设置环境变量

l 打开配置文件：sudo vim /etc/profile

l 追加变量：

JAVA_HOME=/usr/java/jdk1.7.0_79

PATH=$PATH:$JAVA_HOME/bin

CLASSPATH=$JAVA_HOME/lib:$JAVA_HOME/jre/lib

export JAVA_HOME CLASSPATH PATH

l 修改后，让配置文件立即生效： [[email protected] ~] source /etc/profile

八、安装hadoop

1、版本选择

JDK	V1.7.0
Hadoop	V2.7.2
Hbase	V1.2
Hive	V1.2.1

2、在master上安装Hadoop

(1) 将hadoop-2.7.2.tar.gz文件放入master随便一个目录下，这里选择根目录。

(2) 解压hadoop-2.7.2.tar.gz

[[email protected] ~ ] $ tar –zxvf hadoop-2.7.2.tar.gz

(3) 在master上创建hadoop文件夹

[[email protected] ~ ] $ sudo mkdir /usr/hadoop

(4) 剪切hadoop-2.7.2到hadoop文件夹下

[[email protected] ~ ] $ sudo mv /hadoop-2.7.2 /usr/hadoop

3、在master上配置Hadoop

(1) 配置Hadoop环境变量

l 打开配置文件

[[email protected] ~]$ sudo vim /etc/profile

l 追加变量

HADOOP_HOME=/usr/hadoop/hadoop-2.7.2

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_HOME PATH

(2) 配置hadoop-env.sh

l hadoop 2.X版本的配置文件都在${HADOOP_HOME}/etc/hadoop目录里。

l 文件结构如下：

技术分享

l hadoop-env.sh配置为

export JAVA_HOME=${JAVA_HOME}

export HADOOP_HOME=/usr/hadoop/hadoop-2.7.2

export PATH=$HADOOP_HOME/bin:$PATH

l 使hadoop-env.sh生效

[[email protected] ~] $ source ${HADOOP_HOME}/etc/hadoop/hadoop-env.sh

(3) 配置slave文件

[[email protected] ~]$ sudo vim ${HADOOP_HOME}/etc/hadoop/slaves

文件内容：

host1

host2

(4) 配置core-site.xml

<name>fs.default.name</name>

<value>hdfs://master</value>

</property>

<name>hadoop.tmp.dir</name>

<value>/usr/hadoop/hadoop-2.7.2/hadoop_tmp</value>

</property>

</configuration>

(5) 配置hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>heartbeat.recheckinterval</name>

</property>

<value>file:/usr/hadoop/hadoop-2.7.2/hdfs/name</value>

</property>

<value>file:/usr/hadoop/hadoop-2.7.2/hdfs/data</value>

</property>

</configuration>

(6) 配置yarn-site.xml

<name>yarn.resourcemanager.address</name>

<value>master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8031</value>

</property>

<name>yarn.resourcemanager.adimin.address</name>

<value>master:8033</value>

</property>

<name>yarn.resoucemanager.webapp.address</name>

<value>master:8088</value>

</property>

<name>yarn.nademanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

</configuration>

4、其他必要配置

(7) 三台机器上配置hadoop文件夹的读写权限

[[email protected] ~]$ sudo chmod 777 -R /usr/hadoop/hadoop-2.7.2

5、将Hadoop文件夹复制到host1、host2

(8) 复制hadoop2.7.2到host1、host2

[[email protected] ~ ] $ sudo scp –r /usr/hadoop/hadoop-2.7.2 [email protected]:/usr/hadoop

6、格式化NameNode

[[email protected] ~ ] $ hadoop namenode -format

7、验证是否安装成功

[[email protected] ~]$ hadoop version

Hadoop 2.7.2

Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r b165c4fe8a74265c792ce23f546c64604acf0e41

Compiled by jenkins on 2016-01-26T00:08Z

Compiled with protoc 2.5.0

From source with checksum d0fda26633fa762bff87ec759ebe689c

This command was run using /usr/hadoop/hadoop-2.7.2/share/hadoop/common/hadoop-common-2.7.2.jar

[[email protected] ~]$ hadoop fs -ls /

Found 1 items

drwxr-xr-x - chybin supergroup 0 2016-04-05 05:19 /demo1

master机器上：

[[email protected] ~]$ jps -l

13121 org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

13275 org.apache.hadoop.yarn.server.resourcemanager.ResourceManager

15271 sun.tools.jps.Jps

12924 org.apache.hadoop.hdfs.server.namenode.NameNode

host1机器上：

以上是关于原创安装和部署Hadoop的主要内容，如果未能解决你的问题，请参考以下文章

hadooplinux服务连接window平台问题

原创安装和部署Hadoop

[原创]HBase学习笔记-安装和部署

Hyperledger fabric 1.3版本的安装部署(原创多机多Orderer部署

原创win10下搭建vue开发环境+IIS部署

[原创] zabbix学习之旅三：agent安装