学习笔记Hadoop—— Hadoop基础操作—— Hadoop安全模式Hadoop集群基本信息

Posted 2021-10-22 别呀

一、Hadoop安全模式

在分布式文件HDFS系统启动的时候，会有安全模式，当分布式文件系统处于安全模式的情况下，文件系统中的内容不允许修改也不允许删除，直到安全模式结束。

安全模式主要是为了系统启动的时候检查各个DataNode上数据块的有效性，同时根据策略必要的复制或者删除部分数据块。

运行期通过命令也可以进入 安全模式。

实际操作中，可以通过命令进入安全模式，系统启动的时候去修改和删除文件也会有安全模式不允许修改的出错提示，只需要等待一会儿即可。

Master配置Hadoop环境变量

vi /etc/profile

添加：

export HADOOP_HOME=/opt/hadoop-3.1.4
export PATH=$PATH:$HADOOP_HOME/bin

是环境使生效

source /etc/profile

1.1、HDFS启动日志分析

工作流程：

1. 启动NameNode，NameNode加载fsimage。

2. 加载edits log。

3. NameNode等待DataNode上传block列表信息，直到副本数量满足最小副本条件。（最小副本条件指整个文件系统中有99.9%的block达到了最小副本数）

4. 当满足了最小副本条件，再等待一段时间，NameNode就会自动退出安全模式。

启动HDFS
我们来尝试添加一个文件：
进入hadoop安装位置/opt/hadoop-3.1.3

 hdfs dfs -mkdir -p /user/root
 hdfs dfs -put LICENSE.txt NOTICE.txt README.txt .

执行上面两条语句，文件就上传成功了

1.2、Safemode进入方式

只启动Namenode

只启动Namenode & 一个Datanode

通过命令查看namenode是否处于安全模式：

hdfs dfsadmin -safemode get

进入安全模式：

hdfs dfsadmin -safemode enter

注意：

1. 对文件系统元数据进行只读操作。
2. 当文件的所有block信息具备的情况下，对文件进行只读操作。
3. 不允许进行文件修改(写，删除或者重命名文件)。

---

二、Hadoop集群基本信息

在Hadoop中集群的基本信息主要包含分布式文件系统HDFS和分布式资源管理YARN。

分布式文件系统HDFS主要包含文件系统的状态，是否有块丢失、备份丢失等等。同时，包含集群节点状态等。

分布式资源管理YARN主要包含集群节点状态，节点资源（内存，CPU等），队列状态等。

查看HDFS集群基本信息的指令：

hdfs fsck /