corosync+pacemaker+nginx+nfs高可用

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了corosync+pacemaker+nginx+nfs高可用相关的知识,希望对你有一定的参考价值。

用corosync+pacemaker做一个简单的nginx高可用,然后将nfs挂载到nginx的网页访问目录。


由于nginx是源代码安装的,所以要写入到systemd来管理才能够被pacemaker识别到。接下来,写一个nginx启动文件:

[[email protected] system]# cat /etc/systemd/system/nginx.service 
[Unit]
Description=nginx
After=network.target
  
[Service]
Type=forking
ExecStart=/usr/local/nginx/sbin/nginx
ExecReload=/usr/local/nginx/sbin/nginx -s reload
ExecStop=/usr/local/nginx/sbin/nginx -s quit
PrivateTmp=true
  
[Install]
WantedBy=multi-user.target

然后先停止之前的nginx,用systemctl start nginx来启动它。

两个节点都添加到启动项。然后再设置为开机启动:systemctl enable nginx


这里还是用crm来设置nginx高可用。

先停止nginx,然后通过集群让nginx启动。

1、添加nginx资源:

crm(live)configure# primitive nginx systemd:nginx
crm(live)configure# verify
crm(live)configure# commit

2、添加nfs挂载资源,然后与nginx绑定并设置先后顺序:

crm(live)configure# primitive nfs-server ocf:heartbeat:Filesystem params device=192.168.40.145:/nfsdata directory=/usr/local/nginx/html/ fstype=nfs op start timeout=100 op stop timeout=100
crm(live)configure# verify
crm(live)configure# colocation nginx_with_nfs-server inf: nginx nfs-server
crm(live)configure# order nginx_after_nfs-server Mandatory: nfs-server nginx
crm(live)configure# verify
crm(live)configure# commit

3、添加一个vip资源,并与nginx绑定然后设置先后顺序:

crm(live)configure# primitive vip ocf:heartbeat:IPaddr params ip=192.168.40.100 op monitor interval=20 timeout=20 on-fail=restart
crm(live)configure# colocation vip_with_nginx inf: nginx vip
crm(live)configure# order vip_after_nginx Mandatory: nginx vip
crm(live)configure# verify
crm(live)configure# commit

4、查看配置信息:

crm(live)configure# show
node 1: centosa 	attributes standby=on
node 2: centosb 	attributes standby=off
primitive nfs-server Filesystem 	params device="192.168.40.145:/nfsdata" directory="/usr/local/nginx/html/" fstype=nfs 	op start timeout=100 interval=0 	op stop timeout=100 interval=0
primitive nginx systemd:nginx
primitive vip IPaddr 	params ip=192.168.40.100 	op monitor interval=20 timeout=20 on-fail=restart
order nginx_after_nfs-server Mandatory: nfs-server nginx
colocation nginx_with_nfs-server inf: nginx nfs-server
order vip_after_nginx Mandatory: nginx vip
colocation vip_with_nginx inf: nginx vip
property cib-bootstrap-options: 	have-watchdog=false 	dc-version=1.1.16-12.el7_4.4-94ff4df 	cluster-infrastructure=corosync 	cluster-name=mycluster 	stonith-enabled=false 	default-action-timeout=100s

5、查看状态:

crm(live)# status
Stack: corosync
Current DC: centosb (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Wed Oct 25 23:12:30 2017
Last change: Wed Oct 25 23:12:25 2017 by root via cibadmin on centosa
2 nodes configured
3 resources configured
Online: [ centosa centosb ]
Full list of resources:
 nginx(systemd:nginx):Started centosa
 nfs-server(ocf::heartbeat:Filesystem):Started centosa
 vip(ocf::heartbeat:IPaddr):Started centosa

总结一下启动的先后顺序(先挂载,再启动nginx,再启动vip):

nfs-server > nginx >vip

查看挂载的情况:

[[email protected] ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/cl-root       18G  3.6G   15G  20% /
devtmpfs                 478M     0  478M   0% /dev
tmpfs                    489M   39M  450M   8% /dev/shm
tmpfs                    489M  6.7M  482M   2% /run
tmpfs                    489M     0  489M   0% /sys/fs/cgroup
/dev/sda1               1014M  168M  847M  17% /boot
tmpfs                     98M     0   98M   0% /run/user/0
192.168.40.145:/nfsdata   17G  3.6G   14G  21% /usr/local/nginx/html

其实就是挂载在nginx的网页存放目录那里,


再去到nfs服务器,查看一下共享的文件:

[[email protected] nfsdata]# ls
index.htm  index.html
[[email protected] nfsdata]# cat index.html
hh


直接访问vip:

[[email protected] nfsdata]# curl http://192.168.40.100
hh

现在把主节点下线,然后一直刷status,会发现是按照设定顺序停止,然后按照设定顺序开启到另一节点:

crm(live)# node standby
crm(live)# status
Stack: corosync
Current DC: centosb (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Wed Oct 25 23:20:50 2017
Last change: Wed Oct 25 23:20:39 2017 by root via crm_attribute on centosa
2 nodes configured
3 resources configured
Node centosa: standby
Online: [ centosb ]
Full list of resources:
 nginx(systemd:nginx):Started centosb
 nfs-server(ocf::heartbeat:Filesystem):Started centosb
 vip(ocf::heartbeat:IPaddr):Started centosb

查看另一个节点的挂载情况:

[[email protected] ~]# df -h
Filesystem               Size  Used Avail Use% Mounted on
/dev/mapper/cl-root       18G  4.4G   14G  25% /
devtmpfs                 226M     0  226M   0% /dev
tmpfs                    237M   54M  183M  23% /dev/shm
tmpfs                    237M   13M  224M   6% /run
tmpfs                    237M     0  237M   0% /sys/fs/cgroup
/dev/sda1               1014M  173M  841M  18% /boot
tmpfs                     48M     0   48M   0% /run/user/0
192.168.40.145:/nfsdata   17G  3.6G   14G  21% /usr/local/nginx/html


访问vip:

[[email protected] nfsdata]# curl http://192.168.40.100
hh

完。。

本文出自 “运维小记” 博客,请务必保留此出处http://lsfandlinux.blog.51cto.com/13405754/1976216

以上是关于corosync+pacemaker+nginx+nfs高可用的主要内容,如果未能解决你的问题,请参考以下文章

pacemaker+corosync实现zabbix高可用集群

corosync+pacemaker+crmsh

corosync+pacemaker实验记录

corosync+pacemaker的高可用集群

Pacemaker+corosync实现高可用集群

http高可用+负载均衡 corosync + pacemaker + pcs