HPC 高性能集群基础环境安装

Posted 2021-01-21

                                                    HPC 基础环境配置

1.1、操作系统 配置
? 操作系统：redhat enterprise linuxt 6
? 管理节点：HOSTNAME：desktop IP：192.168.199.132
计算节点： HOSTNAME：c1 IP：192.168.199.133
HOSTNAME：c2 IP：192.168.199.134
? 网络配置：固定IP，各个节点互通
? 配置本地域名解析（所有节点）：
将所有的节点的IP HOSTNAME 写入到 /etc/hosts 并分发到所有节点。

[[email protected] ~]# vim /etc/hosts
127.0.0.1 localhost
192.168.199.132 desktop
192.168.199.133 c1
192.168.199.134 c2

? 修改用户默认家目录：
[[email protected] ~]# vim /etc/default/useradd
HOME=/share/home

? 在所有节点关闭如下服务：
a) iptables： #关闭防火墙，避免端口不通。
[[email protected] ~]# iptables –F #清空防火墙策略
#设置开机关闭
[[email protected] ~]# chkconfig iptables off

b) selinux：
[[email protected] ~]# vim /etc/sysconfig/selinux
SELINUX=disabled #改为disabled，永久关闭
[[email protected] ~]# setenforce 0 #命令行关闭SElinux，即时生效

c) bmc-watchdog：
[[email protected] ~]# service bmc-watchdog stop
[[email protected] ~]# chkconfig bmc-watchdog off

d) certmonger：
[[email protected] ~]# service certmonger stop
[[email protected] ~]# chkconfig certmonger off

e) NetworkManager：
[[email protected] ~]# service NetworkManager stop
[[email protected] ~]# chkconfig NetworkManager off

1.2、 配置yum源
? 挂载光盘文件：
mount –t iso9660 –o loop rhel-server-6.8-x86_64-dvd.iso /mnt
? 将软件包拷贝到本地： cp -rf /mnt/* /share/software/rhel6
? 创建yum源配置文件：
[[email protected] ~]# vim /etc/yum.repos.d/rhel6.repo
[rhel-source]
name=Red Hat Enterprise Linux
baseurl=file:///share/apps/rhel6 #软件包存放目录
enabled=1 #启用
gpgcheck=0 #不进行gpg校验

[[email protected] ~]# yum clean all #清除所有缓存
[[email protected] ~]# yum makecache #构建缓存
? 验证：
[[email protected] ~]# yum install xxxx

1.3、NFS 安装配置
? 设置共享存储目录：
[[email protected] ~]# vim /etc/exports #设置挂载点
/share *(rw,no_root_squash,async)
? 启动nfs服务：
[[email protected] ~]# service nfs start
? 设置开机自动启动：
[[email protected] ~]# chkconfig nfs on
? 在所有计算节点挂载共享存储：
[[email protected] ~]# vim /etc/fstab #添加如下行，开机自动挂载
192.168.199.132:/share /share nfs defaults 0 0
? 验证：
[[email protected] ~]# mount –a #挂载/etc/fstab中所有挂载点
[[email protected] ~]# df –h #查看验证
Filesystem Size Used Avail Use% Mounted on
192.168.199.132:/share 18G 13G 4.3G 75% /share #挂载成功

1.4、NIS 安装配置
管理节点：
? 指定端口和NIS 域名：
[[email protected] ~]# yum install yp* #安装NIS服务
[[email protected] Desktop]# vim/etc/sysconfig/network
NISDOMAIN=altair #指定NIS服务域名
YPSERV_ARGS="-p 1011" #指定端口
[[email protected] Desktop]# vim /etc/sysconfig/yppasswdd
YPPASSWDD_ARGS="--port 1012" #指定端口
? 修改配置文件：
[[email protected] Desktop]# vim /etc/ypserv.conf

• ： ： ： none #开放NIS服务给所有主机
  ? 开启NIS服务:
  [[email protected] Desktop]# /etc/init.d/ypserv start #NIS主服务
  [[email protected] Desktop]# /etc/init.d/yppasswdd start #用于让NIS客户端可以直接修改密码的服务
  [[email protected] Desktop]# chkconfig ypserv on
  [[email protected] Desktop]# chkconfig yppasswdd on
  [[email protected] Desktop]# /usr/lib64/yp/ypinit –m #建立、更新NIS数据库
  计算节点：
  ? 选择一个计算节点通过图形界面来配置，配置好后将以下5个配置文件拷贝到所有计算节点，并启动 /etc/init.d/ypinit start 服务即可：
  /etc/sysconfig/network
  /etc/yp.conf
  /etc/sysconfig/authconfig
  /etc/pam.d/system-auth
  /etc/nsswitch.conf
  [[email protected] ~]# /etc/init.d/ypbind start
  [[email protected] ~]# chkconfig ypbind on
  ? 图形界面配置方式：
  [[email protected] ~]# yum install setuptool #安装setup
  [[email protected] ~]# yum install auth* #安装认证模块
  [[email protected] ~]# yum install ypbind #安装NIS客户端
  [[email protected] Desktop]# setup #选择第一个

选择：Use NIS

输入NIS服务节点（此处为管理节点）设置的域名、IP地址

保存退出
验证：
? 在计算节点上 id 管理节点上的用户（此用户在本机上不存在）
[[email protected] ~]# id pbsadmin
uid=500(pbsadmin) gid=500(pbsadmin) groups=500(pbsadmin)

1.5、SSH 配置
管理节点：
? 基于用户的ssh认证：
[[email protected] ~]# ssh-keygen #在管理节点生成公私密钥
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): # 全部按回车
将管理节点的公钥拷贝到所有计算节点：
[[email protected] .ssh]# cd /root/.ssh/
[[email protected] .ssh]# ssh-copy-id -i id_rsa.pub [email protected]
? 基于主机的ssh认证：
[[email protected] .ssh]# vim /etc/ssh/ssh_config #添加下面两行
HostbasedAuthentication yes #开启主机认证
EnableSSHKeysign yes #开启ssh签名支持
[[email protected] .ssh]# vim /etc/ssh/sshd_config #添加下面一行
HostbasedAuthentication yes #开启主机认证
[[email protected] .ssh]# /etc/init.d/sshd restart #重启sshd服务
[[email protected] .ssh]# vim /etc/ssh/ssh_hosts #写入所有节点的主机名，IP
localhost,127.0.0.1
desktop,192.168.199.132
c1,192.168.199.133
c2,192.168.199.134
[[email protected] .ssh]# vim /etc/ssh/shosts.equiv #写入所有节点的主机名，允许通过主机认证登陆本机的主机名称
localhost
desktop
c1
c2
[[email protected] ~]# cd /etc/ssh/
[[email protected] ssh]# ssh-keyscan -t rsa -f ssh_hosts > ssh_known_hosts2 # 生成ssh_known_hosts2 文件，获取所有节点的公钥
将/etc/ssh 目录下的四个文件拷贝到所有的计算节点：
ssh_config sshd_config
shosts.equiv ssh_known_hosts2
计算节点：
? 基于主机的ssh认证：
在所有的计算节点重启sshd 服务器：
[[email protected] ~]# /etc/init.d/sshd restart
验证：
? 在管理节点上 以root和普通用户ssh到计算节点，无需密码可以直接登录，则成功。

1.6、Atuofs 配置
? 计算节点配置：
[[email protected] ~]# mkdir {pbs,scratch} #新建目录
[[email protected] ~]# chmod 1777 /scratch/ #修改权限
[[email protected] ~]# vim /etc/exports
/scratch *(rw,no_root_squash,async)
[[email protected] ~]# /etc/init.d/nfs start
[[email protected] ~]# chkconfig nfs on
[[email protected] ~]# vim /etc/auto.master # /pbs挂载点，读取/etc/auto.pbs挂载配置文件
/pbs /etc/auto.pbs
[[email protected] ~]# vim /etc/auto.pbs #写入所有计算节点的映射目录，格式：hostname hostname:/scratch
c1 c1:/scratch
c2 c2:/scratch
[[email protected] ~]# /etc/init.d/autofs start
[[email protected] ~]# chkconfig autofs on
? 管理节点配置：
[[email protected] ssh]# mkdir pbs
[[email protected] ssh]# vim /etc/auto.master
/pbs /etc/auto.pbs
[[email protected] ssh]# vim /etc/auto.pbs #写入所有计算节点的映射目录，格式：hostname hostname:/scratch
c1 c1:/scratch
c2 c2:/scratch

1.7、 Samba配置安装
? 安装、启用Samba：
[[email protected] ~]# yum install samba –y
[[email protected] ~]# /etc/init.d/smb start
[[email protected] ~]# chkconfig smb on
? 在配置文件中添加：
[[email protected] ~]# vim /etc/samba/smb.conf
[share]
comment = share #说明
path = /share #共享目录
public = yes #公用
writable = yes #可写
create mode = 0770
directory mode = 0770
? 添加用户：
[[email protected] ~]# useradd test1 #添加系统用户
[[email protected] ~]# pdbedit -a test1 #添加samba用户
[[email protected] ~]# pdbedit –L #查看samba用户
[[email protected] ~]# /etc/init.d/smb reload #重新加载