Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

Posted 2022-12-15 星川皆无恙

Linux从零搭建Hadoop集群(CentOS7+hadoop3.2.0+JDK1.8+Mapreduce完全分布式集群案例)

关键字和相关配置版本

关键字：Linux CentOS Hadoop Java
版本： CentOS7 Hadoop3.2.0 JDK1.8

基本主从思路：

先把基础的设置在一台虚拟机（master）上配好，通过克隆改节点IP、主机名、添加主从ip与对应的主机名，获得剩下一台虚拟机（node1）！
此次搭建的集群的一台主机，一台从机的主从结构。
（可以根据自己的实际情况设置多台从机，本文内容我这个从机是一个，多加几个节点也很简单，看个人爱好或者个人需求。）

说明：Hadoop从版本2开始加入了Yarn这个资源管理器，Yarn并不需要单独安装。只要在机器上安装了JDK就可以直接安装Hadoop，单纯安装Hadoop并不依赖Zookeeper之类的其他东西。

文章目录

• 关键字和相关配置版本
• 一、首先要先在虚拟机搭建Linux CentOS7
• 二、直接选择root用户登录
• 三、实现ssh免密码登录
• 四、CentOS7 安装jdk1.8
• 五、下载hadoop
• 六、Hadoop配置文件修改
• 七、启动Hadoop
• 八、运行MapReduce集群

一、首先要先在虚拟机搭建Linux CentOS7

不懂如何搭建的小伙伴可以在看我之前写的博客：

星川皆无恙：虚拟机搭建Linux CentOS7（详细图文讲解）https://blog.csdn.net/Myx74270512/article/details/127883266?spm=1001.2014.3001.5502

二、直接选择root用户登录

（根据个人需求可选可不选，我选择root直接登录更简单省事）

我直接选择root用户登录，避免了普通用户授权和切换用户导致的一些环境问题，简单来说就是高效。

这样的好处就是进来直接就是root用户，不用再那么麻烦输入密码授权认证啥的：

三、实现ssh免密码登录

配置ssh的无密码访问

ssh-keygen -t rsa

连续按回车

cd ~/.ssh

cat id_rsa.pub >> authorized_keys

让ssh服务器自动启动

vi ~/.bashrc 

在文件的最末尾按O进入编辑模式，加上：

/etc/init.d/ssh start

按ESC返回命令模式，输入:wq保存并退出。
让修改即刻生效

source ~/.bashrc

四、CentOS7 安装jdk1.8

1、yum安装

1. 安装之前先查看一下有无系统自带jdk,有的话先卸载。

rpm -qa | grep jdk

[root@master ~]#rpm -qa | grep jdk
copy-jdk-configs-3.3-10.el7_5.noarch
java-1.8.0-openjdk-headless-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-devel-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-javadoc-zip-1.8.0.322.b06-1.el7_9.noarch
java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-accessibility-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-demo-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-src-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-javadoc-1.8.0.322.b06-1.el7_9.noarch

卸载jdk：

rpm -e --nodeps  上步查询出的所有jdk

例如：
[root@master ~]# rpm -e --nodeps copy-jdk-configs-3.3-10.el7_5.noarch
[root@master ~]# rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.322.b06-1.el7_9.x86_64
[root@master ~]# rpm -qa | grep jdk
java-1.8.0-openjdk-devel-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-javadoc-zip-1.8.0.322.b06-1.el7_9.noarch
java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-accessibility-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-demo-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-src-1.8.0.322.b06-1.el7_9.x86_64
java-1.8.0-openjdk-javadoc-1.8.0.322.b06-1.el7_9.noarch
[root@test ~]#

rpm -e --nodeps 我这只执行了两次，剩下的7个卸载同样的操作，在此不在执行。

验证是否已经卸载干净：

rpm -qa|grep java

java -version

卸载完之后开始安装jdk1.8：

查看可安装的版本

yum list java*

安装1.8.0版本openjdk

yum -y install java-1.8.0-openjdk*

安装位置查看：

rpm -qa | grep java

rpm -ql java-1.8.0-openjdk-1.8.0.352.b08-2.el7_9.x86_64

环境变量配置：
当前用户使用:

vi ~/.bashrc

或者全局用户使用：

vi /etc/profile

添加：

export JAVA_HOME=/usr/lib/jvm/java-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

然后执行

 source ~/.bashrc

或者

 source /etc/profile 

命令使修改的配置文件生效。

验证安装：

java -version

五、下载hadoop

引用文本本博文使用的hadoop是3.2.0版本
打开下载地址选择页面：http://www.apache.org/dyn/closer.cgi/hadoop/common/hadoop-3.2.0/hadoop-3.2.0.tar.gz

也可以更方便的挑选自己合适的hadoop版本号直接去下载：

网址：

https://archive.apache.org/dist/hadoop/common/

然后上传文件并解压缩
1.在opt目录下新建一个名为hadoop的目录，并将下载得到的hadoop-3.2.0.tar上载到该目录下

   mkdir /opt/hadoop

解压安装:

 tar -xvf hadoop-3.2.0.tar.gz

配置Hadoop环境变量:

vi /etc/profile

添加hadoop环境变量后：

export JAVA_HOME=/usr/lib/jvm/java-openjdk
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin:/opt/hadoop/hadoop-3.2.0/bin:/opt/hadoop/hadoop-3.2.0/sbin
export HADOOP_HOME=/opt/hadoop/hadoop-3.2.0
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

然后执行

source /etc/profile

使修改的配置文件生效。

六、Hadoop配置文件修改

新建几个目录:

mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

修改etc/hadoop中的一系列配置文件

 vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/core-site.xml

在节点内加入配置:

<configuration>
 <property>
        <name>hadoop.tmp.dir</name>
        <value>/root/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
   </property>
   <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
   </property>
   </configuration>

修改hadoop-env.sh

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/hadoop-env.sh

将 export JAVA_HOME=$JAVA_HOME
修改为： export JAVA_HOME=/usr/lib/jvm/java-openjdk
说明：修改为自己的JDK路径

修改hdfs-site.xml

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/hdfs-site.xml 

在节点内加入配置：

<configuration>
<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.
   </description>
</property>

<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.
   </description>
</property>

<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>

<property>
   <name>dfs.permissions</name>
   <value>false</value>
   <description>need not permissions</description>
</property>
</configuration>

新建并且修改mapred-site.xml：

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/mapred-site.xml

在节点内加入配置:

<configuration>
<!-- 配置mapReduce在Yarn上运行(默认本地运行) -->
<property>
   <name>mapreduce.framework.name</name>
   <value>yarn</value>
</property>
</configuration>

修改workers文件：

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/workers

将里面的localhost删除，添加以下内容：

master
node1

修改yarn-site.xml文件：

HADOOP_CLASSPATH 是设置要运行的类的路径。否则当你用hadoop classname [args]方式运行程序时会报错，说找不到要运行的类。用hadoop jar jar_name.jar classname [args]方式运行程序时没问题

这边需要设置hadoop classpath否则后面mapreduce会报错找不到主类：

hadoop classpath

记下返回的结果

vi /opt/hadoop/hadoop-3.2.0/etc/hadoop/yarn-site.xml 

添加一个配置

<property>
        <name>yarn.application.classpath</name>
        <value>hadoop classpath返回信息</value>
</property>

这是我的yarn-site.xml配置:

<configuration>
        <property>
            <name>yarn.nodemanager.aux-services</name>
            <value>mapreduce_shuffle</value>
        </property>
        <property>
            <name>yarn.resourcemanager.hostname</name>
            <value>master</value>
        </property>
        <property>
            <name>yarn.application.classpath</name>
            <value>/opt/hadoop/hadoop-3.2.0/etc/hadoop:/opt/hadoop/hadoop-3.2.0/share/hadoop/common/lib/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/common/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/hdfs:/opt/hadoop/hadoop-3.2.0/share/hadoop/hdfs/lib/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/hdfs/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/lib/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/yarn:/opt/hadoop/hadoop-3.2.0/share/hadoop/yarn/lib/*:/opt/hadoop/hadoop-3.2.0/share/hadoop/yarn/*</value>
        </property>
</configuration>

配置hadoop-3.2.0/sbin/目录下start-dfs.sh、start-yarn.sh、stop-dfs.sh、stop-yarn.sh文件

服务启动权限配置
配置start-dfs.sh与stop-dfs.sh文件

vi sbin/start-dfs.sh 

和

 vi sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

配置start-yarn.sh与stop-yarn.sh文件

vi sbin/start-yarn.sh 

和

vi sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

配置好后，克隆虚拟机，

vim /etc/sysconfig/network-scripts/ifcfg-ens33

修改ip

修改主机名：

vi /etc/hostname

修改对应的ip 和主机名（主从节点保持一致）

vim /etc/hosts  

主从节点互连ssh试试：

ssh node1

ssh master

OK，互连成功。（按exit可以退出）

七、启动Hadoop

因为master是namenode，node1是datanode，所以只需要对master进行初始化操作，也就是对hdfs进行格式化。
进入到master这台机器/opt/hadoop/hadoop-3.2.0/bin目录：

  cd /opt/hadoop/hadoop-3.2.0/bin

执行初始化脚本

  ./hadoop namenode -format

然后执行启动进程：

./sbin/start-all.sh

运行结果:

master是我们的namenode，该机器的IP是192.168.95.20，在本地电脑访问如下地址:

http://192.168.95.20:9870/

在本地浏览器里访问如下地址：

http://192.168.95.20:8088/cluster

自动跳转到cluster页面

在hdfs上建立一个目录存放文件
假设该目录为：

./bin/hdfs dfs -mkdir -p /home/hadoop/myx/wordcount/input

查看分发复制是否正常

./bin/hdfs dfs -ls /home/hadoop/myx/wordcount/input

八、运行MapReduce集群

Mapreduce运行案例：
在hdfs上建立一个目录存放文件
例如

./bin/hdfs dfs -mkdir -p /home/hadoop/myx/wordcount/input

把文本程序放进去

mkdir hello 

vim hello

加入下面内容：

hadoop yarn spark
hadoop mapreduce
hadoop spark
hadoop spark

./bin/hdfs dfs -put hello /home/hadoop/myx/wordcount/input

查看分发情况

./bin/hdfs dfs -ls /home/hadoop/myx/wordcount/input

运行MapReduce自带wordcount的示例程序：

./bin/hadoop jar /opt/hadoop/hadoop-3.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.0.jar  wordcount /home/hadoop/myx/wordcount/input /home/hadoop/myx/wordcount/output

运行结束后，查看输出结果

hdfs dfs -cat /home/hadoop/myx/wordcount/output/part-r-00000*

详细截图：

运行输出结果也可以在web端查看，里面有详细信息：

OK，花了快2小时的Linux从零搭建Hadoop集群(CentOS7+hadoop 3.2.0+JDK1.8+Mapreduce完全分布式集群)终于整理完成了，辛苦的小马同学决定奖励自己一把大乱斗，希望此教程对各位有所帮助，这些都已经试过水了，各位环境配置和操作没问题的话，基本都能部署完成，祝各位一切顺利。