大数据讲课笔记3.2 Hadoop部署模式

Posted howard2005

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据讲课笔记3.2 Hadoop部署模式相关的知识,希望对你有一定的参考价值。

文章目录

零、学习目标

  1. 了解Hadoop部署模式
  2. 掌握JDK安装与配置
  3. 掌握Hadoop安装

一、导入新课

  • 通过上次课的学习,学生完成了Hadoop集群构建的准备工作。本次课将针对Hadoop集群的构建进行详细讲解。

二、新课讲解

(一)Hadoop部署模式

1、独立模式

  • 在独立模式下,所有程序都在单个JVM上执行,调试Hadoop集群的MapReduce程序也非常方便。一般情况下,该模式常用于学习或开发阶段进行调试程序。

2、伪分布式模式

  • 在伪分布式模式下, Hadoop程序的守护进程都运行在一台节点上,该模式主要用于调试Hadoop分布式程序的代码,以及程序执行是否正确。伪分布式模式是完全分布式模式的一个特例。

3、完全分布式模式

  • 在完全分布式模式下,Hadoop的守护进程分别运行在由多个主机搭建的集群上,不同节点担任不同的角色,在实际工作应用开发中,通常使用该模式构建企业级Hadoop系统。

(二)Hadoop集群规划

  • 本课程将以前面安装的虚拟机为例,阐述完全分布模式Hadoop集群的安装与配置方法。当前规划的Hadoop集群包含一台主节点和两个从节点。

1、集群拓扑

  • 一个主节点,两个从节点

2、角色分配

  • 完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。
节点角色
masterNameNode
slave1DataNode
slave2DataNode

(三)JDK安装与配置

  • 由于Hadoop是由Java语言开发的,Hadoop集群的使用依赖于Java环境,因此安装Hadoop集群之前,需要先安装并配置好JDK。

1、下载JDK压缩包

2、上传到master虚拟机

  • 将JDK压缩包上传到master虚拟机/opt目录
  • 查看上传的JDK压缩包

3、在master虚拟机上安装配置JDK

  • 执行命令:tar -zxvf jdk-8u162-linux-x64.tar.gz -C /usr/local,将JDK压缩包解压到指定目录
  • 执行命令:ll /usr/local/jdk1.8.0_162,查看解压之后的jdk1.8.0_162目录
  • 执行命令:vim /etc/profile,配置环境变量
export JAVA_HOME=/usr/local/jdk1.8.0_162
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
  • 存盘退出,执行命令:source /etc/profile,让配置生效
  • 查看JDK版本
  • 编写一个Java程序 - HelloWorld.java
  • 存盘退出后,执行命令:javac HelloWorld.java,编译成字节码文件
  • 执行命令:java HelloWorld

4、将JDK分发到slave1和slave2虚拟机

  • 执行命令:scp -r $JAVA_HOME root@slave1:$JAVA_HOME (-r:recursive - 递归)
  • 在slave1虚拟机上查看JDK是否拷贝成功
  • 执行命令:scp -r $JAVA_HOME root@slave2:$JAVA_HOME (-r recursive - 递归)
  • 在slave2虚拟机上查看JDK是否拷贝成功

3、将环境配置文件分发到slave1和slave2虚拟机

  • 执行命令:scp /etc/profile root@slave1:/etc
  • 执行命令:scp /etc/profile root@slave2:/etc
  • 在slave1与slave2虚拟机上执行命令:source /etc/profile,让环境配置生效

  • 在slave1虚拟机上查看JDK版本
  • 在slave2虚拟机上查看JDK版本

(四)Hadoop安装

  • Hadoop是Apache基金会面向全球开源的产品之一,任何用户都可以从Apache Hadoop官网下载使用。

1、下载Hadoop压缩包

2、上传Hadoop压缩包到虚拟机

  • 将Hadoop压缩包上传到master虚拟机/opt目录
  • 查看上传的Hadoop压缩包

5、将Hadoop压缩包解压到指定目录

  • 执行命令:tar -xzvf hadoop-3.3.4.tar.gz -C /usr/local
  • 查看解压之后的hadoop目录
目录作用
bin目录命令脚本
etc/hadoop目录存放hadoop的配置文件
lib目录hadoop运行的依赖jar包
sbin目录存放启动和关闭hadoop等命令
libexec目录存放的也是hadoop命令,但一般不常用
  • 在配置Hadoop时,常用的就是binetcsbin三个目录
  • 查看bin目录
  • 查看etc/hadoop目录,主要是hadoop配置文件
  • 查看sbin目录

4、配置Hadoop环境变量

  • 执行命令:vim /etc/profile
export HADOOP_HOME=/usr/local/hadoop-3.3.4
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
  • 存盘退出,执行命令source /etc/profile,让配置生效

5、验证Hadoop环境

  • 执行命令:hadoop -version,检查Hadoop安装是否成功
  • 下一节,我们会学习如何配置Hadoop集群。

三、归纳总结

  • 回顾本节课所讲的内容,并通过提问的方式引导学生解答问题并给予指导。

四、上机操作

  • 形式:单独完成
  • 题目:在主节点上安装JDK和Hadoop
  • 要求:让学生自己动手操作安装JDK和Hadoop,以此来巩固本节的学习内容。写一篇CSDN博客,记录自己操作的过程。

以上是关于大数据讲课笔记3.2 Hadoop部署模式的主要内容,如果未能解决你的问题,请参考以下文章

大数据讲课笔记3.3 Hadoop集群配置

大数据讲课笔记3.4 Hadoop集群测试

大数据讲课笔记3.1 Hadoop安装准备

2022年大数据讲课笔记

2022年大数据基础讲课笔记

2022年大数据基础讲课笔记