Linux集群常用操作

Posted 2021-11-23 赵广陆

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Linux集群常用操作相关的知识，希望对你有一定的参考价值。

1 设置主机名

安装CentOS 7后系统会自动将主机名确定为localhost，用户一般都希望将这个localhost修改成个性化的主机名，如Master、Slave0或HadoopMaster等。下面我们就来修改前面安装的虚拟机的主机名，包括Master和Slave，也就是说，修改主机名的操作要在集群中所有虚拟机上进行。

要特别注意的是，设置主机名需要Root用户权限，请输入“su root”命令。

输入命令:vi network

# Created by anaconda
NETWORKING=yes
HOSTNAME=master

之后输入:hostname master验证是否生效

同理配置其他虚拟机

2 修改host

输入命令:vi /etc/hosts

192.168.99.129 master
192.168.99.130 slave0
192.168.99.131 slave1

3 关闭防火墙

防火墙是一种位于计算机和它所连接的网络之间的安全功能软件，一般分为网络层防火墙（Network Level Firewall）和应用层防火墙（Application Level Firewall）两种。

网络层防火墙本质上就是IP包过滤软件，它依据一定的安全规则对IP包进行检测，允许授权数据包通过，拒绝非授权数据包通过。网络层防火墙还可以关闭不使用的端口，或者禁止特定端口的流量，以阻止来自特殊站点的访问。网络层防火墙处于操作系统的网络层，是内核的一部分，具有较高的效率和准确性。

应用层防火墙工作在TCP/IP协议堆栈的应用层上。Web访问、电子邮件和FTP文件传输所产生的数据流都属于应用层。应用层防火墙基于应用层协议对数据进行扫描和安全处理，通常会直接丢弃不安全的数据包。

Linux防火墙主要工作在网络层，针对TCP/IP数据包实施过滤和限制，属于典型的包过滤防火墙。大数据应用系统通常部署在Linux集群上，一般属于内部网络平台，且计算机之间关系十分密切，通信频繁，因此不需要启用防火墙。

检查系统防火墙状态
命令:systemctl status firewalld.service

启动中…
关闭防火墙
命令:systemctl stop firewalld.service

关闭…

永久关闭防火墙:systemctl disable firewalld.service

4 对所有集群发送统一命令

5 固定ip地址

地址:CentOS 6和CentOS 7各种区别(固定ip地址和防火墙关闭)

5 免密配置

大数据集群中的计算机之间需要频繁通信，但是Linux系统在相互通信中需要进行用户身份认证，也就是输入登录密码。在集群规模不大的情况下，在每次登录时输入密码认证，所需要的操作时间尚且不多。但是，如果集群有几十台、上百台甚至上千台计算机，频繁的认证操作会大大降低工作效率，这也是不切实际的，因此，实际中的集群都需要进行免密钥登录配置。

免密钥登录是指两台计算机之间使用SSH连接时不需要用户名和密码。SSH（Secure Shell Protocol，安全外壳协议）是一种在不安全网络上提供安全远程登录及其他安全网络服务的协议。在默认状态下，SSH连接是需要密码认证的，但是可以通过修改系统认证，使系统通信免除密码输入和SSH认证。

下面的配置分为在Master节点的操作和在所有Slave节点上的操作，同时要注意，这里使用的是普通账户，所以如果目前处于Root用户，则需要切换回普通用户状态（输入exit命令可退出Root用户）。

5.1 Master节点的配置

1.命令:ssh-keygen -t rsa

“ssh-keygen”是用来生成private和public密钥对的命令，将public密钥复制到远程计算机后，就可以使SSH到另外一台计算机的登录（不用密码登录）。“ssh-keygen”通过参数-t指定加密算法，这里的参数rsa表示采用RSA加密算法。RSA加密算法是一种典型的非对称加密算法，它基于大数的因式分解这种数学难题，是应用最广泛的非对称加密算法之一。

生成的密钥在.ssh目录下，切换到该目录后可以通过“ls -l”命令查看。

需要将公钥文件改名后复制到“/.ssh/”目录下。
命令: cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

复制的目的是为了便于修改该文件的权限，请使用“chmod 600 ~/.ssh/authorized_keys”命令进行修改。

将authorized_keys复制到所有的Slave，这里需要分别复制到Slave0和Slave1，命令是scp ~/.ssh/authorized_keys csu@slave0:~/和命令scp ~/.ssh/authorized_keys csu@slave1:~/。

5.2 Slave的配置

完成Master的配置后，需要转到Slave上进行配置。
1.使用ssh-keygen命令生成密钥，如图3-69所示，一路按Enter键即可。

注:密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于SSH-2的RSA密钥。所以不用-t 后面的也可以

2.将authorized_keys（注意，这个文件是从Master复制过来的）文件移动到“/.ssh/”目录下，采用的命令是mv authorized_keys ~/.ssh。

3.修改authorized_keys文件的权限。先使用“cd”命令切换到“/.ssh/”目录，再输入命令chmod 600 authorized_keys修改authorized_keys文件的权限。

至此，免登录密钥的配置就完成了。
4.验证
下面来验证一下配置是否有效。在Master上执行“ssh slave0”命令来登录Slave0，如果登录成功，并且无须输入登录密码，证明配置完成。

要退出远程计算机回到本地计算机，只要输入“exit”命令即可。

5.最后相互配置完成互相免密登录