大数据集群搭建笔记

Posted 2021-07-08 雷学委

CentOS8 安装大数据集群搭建笔记

时间同步

所有datanode服务器时间跟NameNode时间同步
centos8安装chrony
yum install -y chrony
配置时间同步服务器：
/etc/chrony.conf

ssh 配置

namenode到每台datanode的免密码访问都要配，datanode和datanode之间非必需。
配置namenode到其他datanode免密码ssh，这样可以通过namenode统筹整个集群，比如进行集群重启/关闭等操作。
可以把namenode的ssh pubkey内容追加到所有datanode的authorized_keys文件。

启动服务

从NameNode到$HADOOP_HOME目录中调用：
sbin/start-all.sh #启动集群，会ssh启动datanode进程
sbin/stop-all.sh #关闭集群

查看相关进程

hadoop是使用Java开发的，启动后的相关进程都是跑在JVM里面的，可以使用jps命令查看相关java进程。