hadoop3.1.3的集群搭建

Posted 2022-08-07 好学者加分

linux的集群搭建

1.注意事项
windows系统确认所有的关于VmWare的服务都已经启动
右键“我的电脑”->“管理”

确认好VmWare生成的网关地址

这里设置网关为192.168.121.2，子网ip：192.168.121.0，子网掩码：255.255.255.0

2.vmware创建centos虚拟机hadoop04
2.1 设置主机名为hadoop04
使用 vim编辑器打开 /etc/hostname 文件

#vim /etc/hostname

删除文件中原有内容，添加内容主机名：hadoop04，保存退出(wq!)

2.2设置静态网络
更改虚拟机静态ip，例如hadoop04
打开网卡配置文件修改内容

vim /etc/sysconfig/network-scripts/ifcfg-ens33

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"           #配置静态 ip选项，默认为 dhcp模式改为static
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="58d5bd5f-0c03-4e8d-8614-ce18b09d18b4"
DEVICE="ens33"
ONBOOT="yes"         #启动网卡 将no改为yes
IPADDR=192.168.121.4   #静态 ip
NETMASK=255.255.255.0    #子网掩码
GATEWAY=192.168.121.2     #网关，需要在虚拟机网络编辑中 NAT模式查看到
DNS1=8.8.8.8              #DNS

2.3设置主机名及IP映射
使用 vim 编辑器打开 /etc/hosts 文件

vim /etc/hosts

在文件尾部添加内容，格式：IP地址 主机名（中间用空格分隔），保存退出(wq！)

192.168.121.4 hadoop04
192.168.121.5 hadoop05
192.168.121.6 hadoop06

设置完成后，重启网路服务

reboot

2.4使用 ping 命令 ping 主机名

 ping hadoop04

如果可以ping 通，表示设置成功
2.5虚拟机关闭防火墙

查看防火墙状态
#systemctl status firewalld.service
关闭防火墙#systemctl stop firewalld.service
停止并禁用开机启动# systemctl disable firewalld.service

2.6 关闭selinux

修改selinux的配置文件
vim /etc/selinux/config，保存退出

完成以上步骤后将hadooop04克隆出hadoop05和hadoop06,然后记得修改hadoop05、hadoop06的主机名和静态ip为192.168.121.5和192.168.121.6再重启网络
2.7ssh免密钥登陆
私钥：密钥留在本机
公钥：密钥发给本机
在hadoop04

生成密钥：ssh-keygen //一直回车键


发送私钥（本机）：ssh-copy-id haadoop04
发送公钥（其他计算机）：ssh-copy-id (其他计算机主机名)


测试免密钥登陆：
ssh localhost
ssh (其他计算机主机名)

辅助软件安装

hadoop04机器JDK安装
1.1 查看自带的openjdk并卸载

rpm -qa | grep java

1.2 创建安装目录
mkdir -p /opt/software #软件包存放目录
mkdir -p /opt/module #安装目录
1.3上传并 解压
#上传jdk/opt/software到路径下去，并解压

tar -zxvf jdk-8u161-linux-x64.tar.gz -C ../module/

1.4 配置环境变量
vim /etc/profile

//添加如下内容
export JAVA_HOME=/opt/module/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
//修改完成之后记得 source /etc/profile生效
//java version 检查

然后使用该命令jdk和/etc/profile拷贝到每台机器上与hadoop04相同的路径上

scp - r jdk1.8.0_161 root@hadoop04 : /opt/module

集群规划

  			hadoop04			hadoop05			hadoop06

   HADFS	NameNode								SecondaryNameNode
  			DataNode			DataNode			DataNode

   YARN							ResourceManager		
  			NodeManager			NodeManager			NodeManager

因为namenode、resourcemanager、secondarynamenode占用资源大，所以我将它们安排在不同的节点 上

hadoop安装

第一步：下载安装包并解压
先将下载的hadoop-3.1.3.tar.gz安装包上传到主节点hadoop04的/opt/software目录下，然后将文件解压到/opt/module/目录，具体指令如下。
#cd /opt/software/
#tar -zxvf hadoop-3.1.3.tar.gz -C …/module/

第二步：配置hadoop系统环境变量
#vim /etc/profile

export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出,令配置文件生效

#source /etc/profile
#hadoop version  ##hadoop环境验证

hadoop配置

这里需要配置五个文件
1.hadoop-env.sh

配置自己的jdk路径然后在末尾添加以下

export JAVA_HOME=$JAVA_HOME
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

2.core-site.xml

<configuration>
        <!--用于设置Hadoop的文件系统,由URI指定-->
        <property>
                <name>fs.defaultFS</name>
                <!--用于指定namenode地址在hadoop01机器上-->
                <value>hdfs://hadoop04:9000</value>
        </property>
        <!--配置hadoop临时目录,默认/tmp/hadoop-$user.name-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/module/hadoop-3.1.3/data</value>
        </property>
</configuration>

3.hdfs-site.xml

<configuration>

        <!-- 指定HDFS副本的数量-->
        <property>
                <name>dfs.replication</name>
                <value>3</value>
        </property>

        <!-- secondary namenode所在主机的IP和端口 -->
         <property>
                  <name>dfs.namenode.secondary.http-address</name>
                  <value>hadoop06:50090</value>
        </property>

        <!-- 指定namenode的访问地址和端口 -->
        <property>
                <name>dfs.namenode.http-address</name>
                <value>hadoop04:50070</value>
        </property>

        <!-- 设置HDFS的文件权限，默认是false-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>

        <!-- 设置一个文件切片的大小：默认128M-->
        <property>
                <name>dfs.blocksize</name>
                <value>134217728</value>
        </property>
</configuration>

4.yarn-site.xml

<configuration>
        <!-- 指定YARN集群的管理者(ResourceManager)的地址 -->
        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoop05</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <!-- 环境变量的继承 -->
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>


        <![CDATA[
        <property>
                <!-- 定义NodeManager上要提供给正在运行的容器的全部可用资源大小,默认是8192MB -->    
                <name>yarn.nodemanager.resource.memory-mb</name>    
                <value>2048</value>
        </property>

        <property>  
                <!-- 资源管理器中分配给每个容器请求的最小内存限制，默认是1024MB -->
                <name>yarn.scheduler.minimum-allocation-mb</name>
        <value>2048</value>
        </property>
        <property>
                <!-- NodeManager可以分配的CPU核数-->
                <name>yarn.nodemanager.resource.cpu-vcores</name>
                <value>1</value>
        </property>
        <property>
                <!-- 开启日志聚合功能 -->
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>
        
        <property>
                <!-- 设置聚合日志在hdfs上的保存时间 -->
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>
        ]]>
        <property>
                <!-- 开启日志聚合功能 -->
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

</configuration>

5.mapred-site.xml

<configuration>
        <!-- 指定MapReduce运行时框架，这里指定在YARN上，默认是local -->
        <property>
                        <name>mapreduce.framework.name</name>
                        <value>yarn</value>
        </property>

        <!-- 设置历史任务的主机和端口 -->
        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop04:10020</value>
        </property>

        <!-- 设置网页访问历史任务的主机和端口 -->
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop04:19888</value>
        </property>
</configuration>

5 workers

hadoop04
hadoop05
hadoop06

配置完以上文件后将使用以下命令将hadoop3.1.3拷贝到其他服务器上(hadoop05、hadoop06)
注意要拷贝到相同的路径上，然后再拷贝环境变量的配置文件
#scp /etc/profile hadoop05:/etc/profile
#scp /etc/profile hadoop06:/etc/profile
#scp -r /opt/module/ hadoop05:/opt
#scp -r /opt/module/ hadoop06:/opt
然后#source /etc/profile 让环境生效
hadoop格式化
格式化一般进行一次，不然格式化多次数据丢失，如果再次格式化时先关闭集群然后每台的路径/opt/module/hadoop-3.1.3下的data和logs删掉再格式化，，，在hdoop04上面进行格式化。

hdfs namenode -format          

启动hadoop

start-dfs.sh //在hadoop04启动
start-yarn.sh   //在hadoop05启动 

不能用start-all.sh因为resourcemanager和namenode不在同一台机器上
使用该命令可能会爆以下错误

web ui查看hadoop集群

  http://hadoop04:50070
   http://hadoop05:8088