Slurm任务调度系统部署和测试

Posted 2020-11-19 liwanliangblog

1. 概述
1.1 节点信息
2. 节点准备
3. 部署NTP服务器
4. 部署LDAP服务器
5. 部署Munge认证服务
6. 部署Mysql数据库服务
6. 部署slurm
6.1 slurm下载
6.2 解压编译安装

1. 概述

slurm任务调度系统，主要应用在HPC集群资源管理和任务调度。具体信息参见slurm官方网站：https://slurm.schedmd.com/
部署Slurm任务调度系统，需要部署NTP内网时间同步服务器，LDAP全局认证服务器，mysql数据库服务器
本篇博客主要记录如何部署和使用slurm任务调度系统。

1.1 节点信息

节点主机名	操作系统	主机地址	主机角色
node11	centos6.5_x86_64	192.168.10.11	主控制器
node12	centos6.5_x86_64	192.168.10.12	备控制器
node13	centos6.5_x86_64	192.168.10.13	数据存储主控制器
node14	centos6.5_x86_64	192.168.10.14	数据存储备控制器
node15	centos6.5_x86_64	192.168.10.15	MySQL数据库服务器

2. 节点准备

本篇博客的节点，均有已经部署好NTP和LDAP服务客户端的node11克隆，减少部署过程的繁琐。
KVM克隆虚拟机，参见博客《KVM虚拟机管理——虚拟机克隆.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9193910.html
根据博客内容指导，很容易克隆出其他几台虚拟机，提供slurm任务调度环境部署和测试。

3. 部署NTP服务器

笔记内链：《NTP服务部署和测试.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194004.html
NTP时间服务器部署完成之后，需要同步各个节点的时间。

注：对于节点的NTP同步，可以采用pdsh并行工具完成
pdsh并行工具安装和使用，参见笔记内链：《并行管理工具——pdsh.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194146.html

4. 部署LDAP服务器

笔记内链：《LDAP-openldap服务部署和测试（YUM安装）.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9193916.html

5. 部署Munge认证服务

笔记内链：《MUNGE服务部署和测试.md》
博客园地址：https://www.cnblogs.com/liwanliangblog/p/9194032.html

6. 部署Mysql数据库服务

本篇博客在node15上安装MySQL数据库
笔记内链：《MySQL数据库安装和参数配置（YUM）.md》
博客园：

6. 部署slurm

6.1 slurm下载

从slurm的官网下载地址：https://www.schedmd.com/downloads.php；即可下载最新版的slurm，本篇博客主要部署两个版本

• slurm-16.05.3.tar.gz 该版本已经被官网废弃，本篇博客因为工作需要继续使用
• slurm-17.11.7.tar.bz2 截至博客更新时的最新版本

6.2 解压编译安装