学习笔记Hadoop—— Hadoop集群的安装与部署—— Hadoop配置参数介绍Hadoop集群启动与监控

Posted 2021-10-22 别呀

五、Hadoop配置参数介绍

Hadoop集群配置文件主要有：

它们的默认参数配置可以看：

core-default.xml ：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/core-default.xml

hdfs-default.xml：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

mapred-default.xml：https://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml

yarn-default.xml：https://hadoop.apache.org/docs/stable/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

---

六、Hadoop集群启动与监控

Hadoop集群启动/关闭采用下面步骤：
启动：

1. 在Master节点：$HADOOP_HOME/sbin/start-dfs.sh ，启动HDFS 。
2. 在Master节点：$HADOOP_HOME/sbin/start-yarn.sh， 启动YARN。
3. 在Master节点：$HADOOP_HOME/bin/mapred --daemon start historyserver，启动日志服务。

关闭：

1. 在Master节点：$HADOOP_HOME/sbin/stop-dfs.sh ，关闭HDFS 。
2. 在Master节点：$HADOOP_HOME/sbin/stop-yarn.sh， 关闭YARN。
3. 在Master节点：$HADOOP_HOME/bin/mapred --daemon stop historyserver，关闭日志服务。

6.1、Hadoop集群启动报错及解决

报错：

解决方法：

在/opt/hadoop-3.1.4/etc/hadoop/hadoop-env.sh添加如下语句

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

然后再拷贝到子节点

scp hadoop-env.sh node1:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node2:/opt/hadoop-3.1.4/etc/hadoop/
scp hadoop-env.sh node3:/opt/hadoop-3.1.4/etc/hadoop/

修改完后，启动HDFS可以看到：

启动YARN

启动mapred

6.2、查看监控

在浏览器输入网址：192.168.128.10:50070

注意：看服务有没有开启；要记得关闭防火墙，否则会出现无法访问网站

服务已开启：

查看防火墙状态：

systemctl status firewalld.service

关闭防火墙：

systemctl stop firewalld.service

永久关闭防火墙：

systemctl disable firewalld.service

同时，我们也要把子节点的防火墙关掉：

ssh node1 "systemctl stop firewalld.service & systemctl disable firewalld.service"
ssh node2 "systemctl stop firewalld.service & systemctl disable firewalld.service"
ssh node3 "systemctl stop firewalld.service & systemctl disable firewalld.service"

最后，我们重新输入网址就可以看到界面了

6.3、优化配置

在网址输入：node1:9864 发现无法访问，因此我们要设置机器名与IP映射

机器名与IP映射设置

打开C:\\Windows\\System32\\drivers\\etc\\hosts添加如下：

192.168.128.10 master master.centos.com
192.168.128.11 node1 node1.centos.com
192.168.128.12 node2 node2.centos.com
192.168.128.13 node3 node3.centos.com

（如果遇到hosts没有权限无法更改，参考这篇博客：https://blog.csdn.net/ahmcwt/article/details/109578320）

完成！