NFS存储高可用快速实施方案

Posted 2020-10-28

Note：以下为NFS+DRBD+HEARTBEAT快速实施文档，若要用于生产环境，请仔细阅读官方文档并结合实际业务调整参数，涉及数据部署请慎重！！！

（个人建议：在基于个人熟悉服务的情况下并通过测试环境才可在线上使用。）

---

存储高可用

NFS+DRBD+HEARTBEAT快速实施方案

环境：

nfs-utils-1.2.3-75.el6_9.x86_64 heartbeat-3.0.4-2.el6.x86_64 drbd84-utils-8.9.8-1.el6.elrepo.x86_64

CentOS release 6.7 (Final) 2.6.32-573.el6.x86_64 x86_64

 

 

规划表：

名称	接口	IP	用途
Master	eth0	10.0.0.31	管理IP
	eth1	172.16.1.31	心跳线
Backup	eth0	10.0.0.32	管理IP
	eth1	172.16.1.32	心跳线
VIP	eth0	10.0.0.30	提供NFS存储服务IP

 

以下操作除特殊说明外，均为在两台服务器操作

1.     初始化

关闭selinux,iptables

配置主机名，/etc/hosts，/etc/sysconfig/network，配置网络配置

2.     分区

parted /dev/sdb mklabel gpt

parted /dev/sdb mkpart primary 0 1024

parted /dev/sdb mkpart primary 1025 2146

parted /dev/sdb p

3.     主NFS格式化/dev/sdb1，从NFS不需要格式化（特殊说明）

mkfs.ext4 /dev/sdb1

 

4.     安装DRBD

rpm -Uvh http://www.elrepo.org/elrepo-release-6-8.el6.elrepo.noarch.rpm

yum install -y drbd84-utils kmod-drbd84

5.     初始化DRBD

modprobe drbd

6.     创建配置资源文件/etc/drbd.d/r0.res

resource r0 {

  net {

    protocol C;

    cram-hmac-alg "sha1";

    shared-secret "c4f9375f9834b4e7f0a528cc65c055702bf5f24a";

}

  device      /dev/drbd0;

  disk        /dev/sdb1;

  meta-disk   /dev/sdb2[0];

  on nfs {

    address     172.16.1.31:7788;

  }

  on nfs-s {

    address     172.16.1.32:7788;

  }

}

7.     初始化drbd设备

drbdadm create-md r0

drbdadm up r0

cat /proc/drbd

8.     将nfs提升为主，从nfs不需要操作（特殊说明）

drbdadm -- --overwrite-data-of-peer primary r0

9.     将nfs的drbd0格式化以供挂载使用，从nfs不需要操作（特殊说明）

mkfs.ext4 /dev/drbd0

10.   测试挂载

mkdir /data

mount /dev/drbd0 /data

 

至此，drbd安装完毕，下面安装nfs

 

1.     安装NFS

yum install -y rpcbind nfs-utils

2.     编辑配置文件

echo "/data 10.0.0.0/24(rw,sync,anonuid=502,anongid=502,all_squash)" >/etc/exports

3.     创建nginx用户 uid,gid均为502,并将共享目录/data授权所有者为nginx

useradd -s /sbin/nologin -u 502 -M nginx

chown -R nginx.nginx /data

4.     启动nfs服务

/etc/init.d/rpcbind start

/etc/init.d/nfs start

 

至此，NFS安装完毕，下面安装heartbeat

 

1.     安装heartbeat

wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-6.repo

yum repolist

yum install -y heartbeat

2.     将默认的配置文件拷贝至/etc/ha.d/并作更改

修改第一个配置文件：/etc/ha.d/ha.cf

cat >/etc/ha.d/ha.cf<<EOF

logfile /var/log/ha-log

logfacility      local0

keepalive 2

deadtime 30

warntime 10

initdead 60

mcast eth0 225.0.0.31 694 1 0

auto_failback on

node nfs

node nfs-s

EOF

修改第二个配置文件：/etc/ha.d/authkeys

cat >/etc/ha.d/authkeys <<EOF

auth 1

1 sha1 c4f9375f9834b4e7f0a528cc65c055702bf5f24a

EOF

chmod 600 /etc/ha.d/authkeys

修改第三个配置文件：/etc/ha.d/haresources

cat >/etc/ha.d/haresources<<EOF

nfs 10.0.0.30 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext4 nfs

EOF

3.     启动heartbeat

/etc/init.d/heartbeat start

 

至此，NFS+DRBD+HEARTBEAT高可用存储搭建完毕！