项目:一次测试环境下的高可用NFS文件服务器(DRBD+heartbeat+NFS)

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了项目:一次测试环境下的高可用NFS文件服务器(DRBD+heartbeat+NFS)相关的知识,希望对你有一定的参考价值。

什么是DRBD?

    分布式复制块设备。当你将数据写入本地的DRBD设备上的文件系统时,数据同时会被发送到远程端的另一边的DRBD设备文件系统里,保障数据实时同步,当本地的DRBD设备突然故障,远程节点还保留一份一模一样的数据,根据这个特性,可以结合heatbeat的ha开源软件,实现高可用!

    我们都把DRBD理解是网络raid1磁盘阵列。

    DRBD底层设备可以是

        1)一块磁盘,或者一个分区。

        2)raid设备。

        3)逻辑卷lvm。

        4)任何块设备。

    DRBD支持三种不同的复制协议。协议A,协议B,协议C。

    协议A,异步复制协议。此协议只要本地写操作完成,就认为DRBD整个流程的写操作就完成。

    协议B,内存同步复制协议。本地写操作完成,并检测到数据到达DRBD的另一边, 就认为DRBD整个流程的写操作就完成。  

    协议C,同步复制协议。当本地DRBD设备写操作和远程DRBD设备写操作都完成了,就认为DRBD整个流程的写操作就完成。最长用的是协议C,测试环境下也是用的协议C,它可以提供保证的数据一致性和可靠性。需要的磁盘I/O最高。

    heartbeat是一个开源项目。提供linux可靠,可用和可服务性。核心,就是采用心跳检测机制。

如果心跳线或网络出现问题,容易出现脑裂现象!这也是制约该技术大规模部署应用的原因。

    

实验环境准备

    1.关闭防火墙。

    2.hosts文件。

    3.ntp对时。

    4.准备两台机器primary和secondary。

    5.每台机器上单独拿一块硬盘或单独分区做为DRBD底层设备(大小建议一样)。

    6.网卡两块,两个网段,其中一网段是数据通信并heartbeat对外提供VIP的网段,另外一段做为重要的心跳线,heartbeat的核心。

    7.primary上 eth0:192.168.4.10  eth1:10.0.54.10

    8.secondary上 eth0:192.168.4.11  eth1:10.0.54.11


 两台机器上都关闭iptables和selinux

[[email protected] ~]# service iptables stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# sed -i /SELINUX=/s/permissive/disabled/ /etc/selinux/config

[[email protected] ~]# service iptables stop
[[email protected] ~]# setenforce 0
[[email protected] ~]# sed -i /SELINUX=/s/permissive/disabled/ /etc/selinux/config

 修改hosts文件

[[email protected] ~]#vim /etc/hosts
primary     192.168.4.10
secondary  192.168.4.11

[[email protected] ~]#vim /etc/hosts
primary     192.168.4.10
secondary  192.168.4.11

  ntp对时

[[email protected] ~]#ntpdate ntp.api.bz
[[email protected] ~]#ntpdate ntp.api.bz

  分区如下:/dev/vdb1   大小8G

fdisk /dev/vdb    #分区省略

安装DRBD和配置

  安装包下载地址:http://oss.linbit.com/drbd/

  安装依赖包

[[email protected] ~]#yum install gcc gcc-c++ make glibc flex kernel-devel kernel-headers
[[email protected] ~]#yum install gcc gcc-c++ make glibc flex kernel-devel kernel-headers

  这里提供安装包8.4.3(两机器同样的操作)

[[email protected] ~]#tar zxvf drbd-8.4.3.tar.gz
[[email protected] ~]#cd drbd-8.4.3
    ./configure --prefix=/usr/local/drbd --with-km
    make && make install
    mkdir -p /usr/local/drbd/var/run/drbd
    cp /usr/local/drbd/etc/rc.d/init.d/drbd /etc/rc.d/init.d
    chkconfig drbd on
    
[[email protected] ~]#modprobe drbd      #加载drbd.ko模块
[[email protected] ~]#lsmod |grep drbd   #查看

  两台机器创建硬件设备DRBD

[[email protected] ~]#mknod /dev/drbd0 b 147 0

  两台下载NFS包(注意不需要自己开启NFS服务,下面搭建heartbeat会来完成)

[[email protected] ~]#yum install -y nfs*
[[email protected] ~]#vim /etc/exports
/data 192.168.4.0/255.255.255.0(rw,no_root_squash,no_all_squash,sync)
[[email protected] ~]#mkdir /data
[[email protected] ~]#/etc/init.d/rpcbind start
[[email protected] ~]#chkconfig rpcbind on
[[email protected] ~]#chkconfig nfs off
修改DRBD文件配置
[[email protected] ~]#vim /usr/local/drbd/etc/drbd.conf
resource r0 {                   #创建的资源名称,和下面创建与之对应
protocol C;                     #采用C协议

startup { wfc-timeout 0; degr-wfc-timeout 120; }
disk { on-io-error detach; }
net {
        timeout 60;
        connect-int 10;
        ping-int 10;
        max-buffers 2048;
        max-epoch-size 2048;
}
syncer { rate 30M; }

on zabbix-server {
        device /dev/drbd0;
        disk  /dev/vdb1;
        address  192.168.4.10:7788;
        meta-disk internal;
}
on zabbix-agent {
        device /dev/drbd0;
        disk  /dev/vdb1;
        address  192.168.4.11:7788;
        meta-disk internal;
}
}

  两台创建资源r0

[[email protected] ~]#drbdadm create-md r0
[[email protected] ~]#drbdadm create-md r0

  两台启动DRBD,设置开机启动

[[email protected] ~]#service drbd start
[[email protected] ~]#chkconfig  drbd on

  查看当前DRBD状态

[[email protected] ~]#cat /proc/drbd
或者
[[email protected] ~]#service drbd status

  主上初始化

[[email protected] ~]#drbdsetup /dev/drbd0 primary --force     #第一次设置
[[email protected] ~]#drbdadm  primary r0

  在查看当前DRBD状态

[[email protected] ~]#cat /proc/drbd          #能看到primary机器上状态已经变成primary了
  或者
[[email protected] ~]#service drbd status

  格式化DRBD(只在主上操作,备用状态的不允许对DRBD设备进行任何操作,包括只读)

[[email protected] ~]#mkfs.ext4 /dev/drbd0


  Heartbeat 安装配置(两台设备)

[[email protected] ~]#yum install -y heartbeat
        cd /usr/share/doc/heartbeat-3.0.4/
        cp ha.cf  haresources authkeys /etc/ha.d/

   修改primary(secondary的ip为10.0.54.10)的ha.cf

[[email protected] ~]#vim /etc/ha.d/ha.cf
logfile         /var/log/ha-log
logfacility     local0
keepalive       2
deadtime        5
ucast           eth1 10.0.54.11        #采用心跳网口对方ip
auto_failback   off
node            primary secondary

  修改authkeys(两个机器相同配置)

[[email protected] ~]#vim /etc/ha.d/authkeys     #自选1 2 3 模式
  auth 1
  1 crc
 [[email protected] ~]# chmod 600 /etc/ha.d/authkeys

  编辑haresources(这里两个主机相同配置,注:从上不要把primary改成secondary)

[[email protected] ~]#vim /etc/ha.d/haresources      #VIP设置为192.168.4.100,参考文件倒数后面的一个例题
primary IPaddr::192.168.4.100/24/eth0 drbddisk::r0 Filesystem::/dev/drbd0::/data::ext4 killnfsd
[[email protected] ~]#vim /etc/ha.d/resource.d/killnfsd
killall -9 nfsd; /etc/init.d/nfs restart; exit 0

[[email protected] ~]#find / -name  drbddisk    #查看drbddisk脚本在哪,有的时候没有该脚本。
[[email protected] ~]#cp /usr/local/drbd/etc/ha.d/resource.d/drbddisk /etc/ha.d/resource.d/
[[email protected] ~]#chmod 755 /etc/ha.d/resource.d/drbddisk

  重启heartbeat(先主上开启)

[[email protected] ~]#/etc/init.d/heartbeat start

  测试,故障模拟及故障排查

[[email protected] ~]#ping 192.168.4.100
PING 192.168.4.100 (192.168.4.100) 56(84) bytes of data.
64 bytes from 192.168.4.100: icmp_seq=1 ttl=64 time=0.026 ms
64 bytes from 192.168.4.100: icmp_seq=2 ttl=64 time=0.020 ms
64 bytes from 192.168.4.100: icmp_seq=3 ttl=64 time=0.016 m
[[email protected] ~]#df -h       #主上自动挂载了
/dev/drbd0            7.8G   18M  7.4G   1% /data

找一台客户端A,挂载NFS
[[email protected] ~]# showmount -e 192.168.4.100
Export list for 192.168.4.100:
/data 192.168.4.0/255.255.255.0
[[email protected] ~]#vim /etc/fstab
192.168.4.100:/data /liuqingqing        nfs _netdev,defaults 0 0
[[email protected] ~]#mkdir /liuqingqing
[[email protected] ~]#mount -a
[[email protected] ~]#df -h
192.168.4.100:/data   7.8G   18M  7.4G   1% /liuqingqing

故障模拟(直接把主关机)

[[email protected] ~]#init 0
.....
.....
.....  等一会儿在ping 192.168.4.100
[[email protected] ~]#ping 192.168.4.100
PING 192.168.4.100 (192.168.4.100) 56(84) bytes of data.
64 bytes from 192.168.4.100: icmp_seq=1 ttl=64 time=0.016 ms
64 bytes from 192.168.4.100: icmp_seq=2 ttl=64 time=0.021 ms
[[email protected] ~]#df -h    #自动挂载在从上,实现了高可用。
/dev/drbd0            7.8G   18M  7.4G   1% /data
并且客户端机器挂在的目录,不受影响。


故障排查:
查看日志
[[email protected] ~]#tail -f /var/log/messege
[[email protected] ~]#tail -f /var/log/ha-log
查看DRBD状态(如,刚才把主关掉之后,自己变成从了)
[[email protected] ~]# cat /proc/drbd 
version: 8.4.3 (api:1/proto:86-101)
GIT-hash: 89a294209144b68adb3ee85a73221f964d3ee515 build by [email protected], 2016-09-21 09:13:16
 0: cs:Connected ro:Secondary/Primary ds:UpToDate/UpToDate C r-----
    ns:0 nr:0 dw:0 dr:0 al:0 bm:0 lo:0 pe:0 ua:0 ap:0 ep:1 wo:f oos:0

出现脑裂现象处理

        在secondary上操作

[[email protected] ~]#drbdadm secondary r0
[[email protected] ~]#drbdadm disconnect all
[[email protected] ~]#drbdadm --discard-my-data connect r0

        在primary上操作

[[email protected] ~]#drbdadm disconnect all
[[email protected] ~]#connect r0


最终在测试机器上运行没问题,主备上对此测试。


本文出自 “蚂蚱小子” 博客,请务必保留此出处http://zxlwz.blog.51cto.com/6952946/1855079

以上是关于项目:一次测试环境下的高可用NFS文件服务器(DRBD+heartbeat+NFS)的主要内容,如果未能解决你的问题,请参考以下文章

搭建:LVS+Keepalived高可用Web服务群集环境

Linux下的NFS搭建配置

Keepalived实现LVS-DR集群高可用

微服务架构下的高可用网关与容错

简单介绍,基于ldirectord的高可用lvs-dr调度器

corosync+pacemaker+crmsh的高可用web集群的实现