mariadb-galera集群架构
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了mariadb-galera集群架构相关的知识，希望对你有一定的参考价值。
day6
复习昨天的内容：
数据库代理－－数据库中间件
功能： | 负载均衡LB:将客户端请求以相对均衡的方式分发给后端的服务器； 读写分离：能够区分读和写，将相应的操作分汉给对应的服务； 分库分表分片：提高读性能，让后端服务器缓冲不同的数据； sql路由并发查询：将一条 复杂的sql语句分成多条 sql语句，分发给后端对应的服务器。 |
软件： | mysql-proxy和atlas：mysql官方的，使用的公司有魔兽世界 mycat：在阿里马马cobar上的二次开发，是一个神话 |
数据库高可用――HA
1、什么是高可用？
表示法：百分比、9规则
例如：0.99999%代表一年中只能有5分钟的宕机时间（365天*24*60*0.00001＝5.256分）
宕机造成的损失和降低宕机时间所花费的成本的衡量
一般能做到两个9（3天）、3个9（8h）、4个9（52.56分）
2、宕机的原因归纳
硬件上最普遍的问题是磁盘空间耗尽；
性能上最普遍的问题是糟糕的sql语句；
复制问题通常是主备数据不一致导致的；
人为误操作
3、如何实现高可用
降低故障率
优化架构
4、数据库高可用软件
mariadb galera cluster
mysql NDB cluster
5、mariadb galera cluster
功能 | 同步复制 新节点加入自动同步数据 失效节点自动清除 |
优势 | 没有延迟 拓展能力强 |
适用架构 |
6、网络拓扑
序号 | 主机名 | IP地址 | 必备软件(本例用mariadb-10.0.3) |
1 | node25 | 192.168.10.25 | mariadb-server、mariadb-cluster-server |
2 | node26 | 192.168.10.26 | mariadb-server、mariadb-cluster-server |
3 | node27 | 192.168.10.27 | mariadb-server、mariadb-cluster-server |
4 | node11 | 192.168.10.11 | atlas或mysql-proxy、MyCat等dbproxy代理软件 |
7、软件和版本：
下载安装
###galera-10.0.31官方rpm包下载(以下实验首选)：
centos6版的galera-10.0.31软件(首选)：http://yum.mariadb.org/10.0.31/centos6-amd64/rpms/
centos7版的galera-10.0.31软件(首选)：http://yum.mariadb.org/10.0.31/centos7-amd64/rpms/
###galera-10.3官方rpm包下载(已测试OK)：
centos6版的galera-10.3软件:http://yum.mariadb.org/10.3/centos6-amd64/rpms/
centos7版的galera-10.3软件: http://yum.mariadb.org/10.3/centos7-amd64/rpms/
专家建议：直接在官网下载整个rpms目录中的rpm软件包。然后在本地搭建galera安装包yum源，进行安装。
galera-10.0.31版的安装(本例已测OK)：
yum search galera
yum install -y MariaDB-Galera-server MariaDB-client galera rsync mlocate createrepo
rpm -q MariaDB-Galera-server MariaDB-client galera
ls /etc/my.cnf.d/
galera-10.3版安装(测试OK)：
yum search galera
yum install MariaDB-server MariaDB-client galera rsync mlocate createrepo -y (配置方法同下)
rpm -q MariaDB-server MariaDB-client galera
ls /etc/my.cnf.d/
8、修改hosts文件，实现本地主机名解析
修改系每台galera主机的hosts文件，实现本地域名解析(选做，不做也不影响)。
高效率技巧：在一台主机上创建好，用scp远程推送复制到其他主机。
vi /etc/hosts 添加如下内容
192.168.10.25 node25
192.168.10.26 node26
192.168.10.27 node27
192.168.10.11 node11
9、关闭安全功能
配置防火墙规则，参考官方的说明，我这里偷懒就直接关闭了防火墙。
service iptables stop
chkconfig iptables off
setenforce 0
getenforce
sed -i ‘/^SELINUX=/s/enforcing/permissive/‘ /etc/selinux/config
10、用vsftpd在物理机共享galera软件包（192.168.10.1）。
第1步：安装并共享galera软件包。
yum install -y vsftpd ftp lftp
service vsftpd restart
chkconfig vsftpd on
cp -rv galera /var/ftp/
firefox ftp://127.0.0.1
第2步：创建galera.repo网络yum源，并测试。
vi /etc/yum.repos.d/galera.repo
[7galera]
name=galera
baseurl=ftp://192.168.10.1/galera
enabled=1
gpgcheck=0
第3步：测试yum源和仓库
yum clean all
yum repolist
yum search galera
11、需要先卸载mariadb-libs或mysql-libs
说明：不卸载会导致冲突，服务无法正常运行。
centos7 | centos6.5 |
rpm -e mariadb-libs --nodeps rpm -e mariadb-common --nodeps | rpm -e mysql-libs --nodeps rpm -e mysql-common --nodeps |
12、初始安装配置
安装MariaDB和galera软件
yum search galera yum install -y MariaDB-Galera-server MariaDB-client galera rsync mlocate createrepo rpm -q MariaDB-Galera-server MariaDB-client galera ls /etc/my.cnf.d/ |
安装和初始化MariaDB数据库并启动MariaDB服务，并作安全加固
centos7 | centos6.5 |
systemctl restart mysql mysql_secure_installation systemctl stop mysql | service mysql restart mysql_secure_installation service mysql stop |
说明：系统提供了mysql和mariadb两个服务脚本，可用service mariadb restart来重启。 | |
附加需求：在每台主机启动mysql服务后，用grant创建两个Mysql账号，一个管理员账号admin，密码也用admin，再创建一个普通账号。
mysql -uroot grant all on *.* to [email protected]‘%‘ identified by ‘admin‘ with grant option; grant all on *.* to [email protected]‘%‘ identified by ‘reppass‘; FLUSH PRIVILEGES; select user,host,password from mysql.user; exit |
13、配置文件讲解
主配置文件：/etc/my.cnf
附加功能配置文件：/etc/my.cnf.d/*.cnf
查galera的API动态链接库文件路径：
updatedb
locate libgalera_smm.so
vi /etc/my.cnf.d/galera.cnf 参考代码如下
[galera] #Mandatory settings #启用wsrep API接口 wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so #启动节点时需要指定galera cluster的地址，作为cluster中第一个启动的节点wsrep_cluster_address="gcomm://"，对于后续启动的节点用wsrep_cluster_address="gcomm://ip1,ip2,ip3 " wsrep_cluster_address="gcomm://" ##wsrep_cluster_address="gcomm://192.168.100.70,192.168.10.71,192.168.10.72" #集群名称(群名)，所有node必须一样 wsrep_cluster_name="galera" #本节点的地址 wsrep_node_address=192.168.100.70 #本节点名称 wsrep_node_name=node70 #Snapshot Stat Transfer快照状态转移方法:mysqldump/rsync，默认mysqldump wsrep_sst_method=rsync #mysqldump同步账号和密码(grant授权的账号和密码) wsrep_sst_auth="myroot:reppass" #binlog的格式也有三种：STATEMENT、ROW、MIXED binlog_format=ROW #默认存储引擎 default_storage_engine=innodb #调整锁策略 innodb_autoinc_lock_mode=2 #本机的监听地址 bind-address=0.0.0.0 #每隔0秒同步刷新数据 innodb_flush_log_at_trx_commit=0 #设置utf8为默认字符集 #character_set_server=utf8 #指定binlog日志文件 log-bin=mysql-bin |
14、galera集群配置文件
node25主机的配置文件（192.168.10.25）
vim /etc/my.cnf.d/galera.cnf
[galera] #Mandatory settings wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so wsrep_cluster_address="gcomm://" ##wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27" wsrep_cluster_name="galera" wsrep_node_address=192.168.10.25 wsrep_node_name=node25 wsrep_sst_method=rsync wsrep_sst_auth="myroot:reppass" binlog_format=ROW default_storage_engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 innodb_flush_log_at_trx_commit=0 #character_set_server=utf8 log-bin=mysql-bin |
15、重启服务。
service mysql restart
#查看本机mysql服务端口
netstat -ntpl | grep sql |
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 15065/mysqld tcp 0 0 0.0.0.0:4567 0.0.0.0:* LISTEN 15065/mysqld |
16、其他galera节点上面做相同的配置
需求：依次启动其他galera节点，其他节点会根据配置自动加入到集群中并同步数据，一定要关闭防火墙和SELinux安全功能。
service iptables stop ; chkconfig iptables stop
setenforce 0 ; getenforce
service firewalld stop ; chkconfig firewalld off
node26主机的配置文件（192.168.10.26）
vim /etc/my.cnf.d/galera.cnf
[galera] #Mandatory settings wsrep_on=ON wsrep_provider=/usr/lib64/galera/libgalera_smm.so ##wsrep_cluster_address="gcomm://" wsrep_cluster_address="gcomm://192.168.10.25,192.168.10.26,192.168.10.27" wsrep_cluster_name="galera" wsrep_node_address=192.168.10.26 wsrep_node_name=node26 wsrep_sst_method=rsync wsrep_sst_auth="myroot:reppass" binlog_format=ROW default_storage_engine=innodb innodb_autoinc_lock_mode=2 bind-address=0.0.0.0 innodb_flush_log_at_trx_commit=0 #character_set_server=utf8 log-bin=mysql-bin |
说明：galer集群中的其他主机的galera.cnf配置文件请参考集群成员主机192.168.10.26（node26）的配置文件。
17、观察日志
cat /var/lib/mysql/node1.example.com.err
cat /var/lib/mysql/grastate.dat
18、在galera主机上查看集群状态
mysql -uroot -p show global status like ‘wsrep%‘; | 登录 查看集群wsrep接口状态 |
19、galera集群关机问题
第1步：逐一关闭galera成员主机。
第2步：最后关闭galera集群的群主主机。
异常处理：当机房突然停电，所有galera主机都非正常关机，来电后开机，会导致galera集群服务无法正常启动。如何处理？
20、galera集群开机问题。
第1步：开启galera集群的群主主机的mysql服务。
第2步：开启galera集群的成员主机的mysql服务。
异常处理：galera集群的群主主机和成员主机的mysql服务无法启动，，如何处理？
解决方法一：第1步、删除garlera群主主机的/var/lib/mysql/grastate.dat状态文件，service mysql restart重启服务。启动正常。登录并查看wsrep状态。
第2步：删除galera成员主机中的/var/lib/mysql/grastate.dat状态文件，service mysql restart重启服务。启动正常。登录并查看wsrep状态。
解决方法二：第1步、修改garlera群主主机的/var/lib/mysql/grastate.dat状态文件中的0为1，service mysql restart重启服务。启动正常。登录并查看wsrep状态。
第2步：修改galera成员主机中的/var/lib/mysql/grastate.dat状态文件中的0为1，service mysql restart重启服务。启动正常。登录并查看wsrep状态。
21、模拟故障实验
1、 安装了3个节点
2、 关闭第一个节点后重启服务，需要修改配置文件
3、 关闭第3个节点，去查看错误日志文件，在集群中创建库，重启服务，看是否能够同步到数据。
22、mysql-proxy数据库代理前端(中间件)
可用软件：atlas、mysql-proxy、MyCat等
本例软件：Atlas代理
##安装配置atlas读写分离(192.168.10.11)
service iptables stop
chkconfig iptables off
setenforce 0
getenforce
sed -i ‘s/^SELINUX=enforcing/SELINUX=permissive/‘ /etc/selinux/config
grep ‘^SELINUX=‘ /etc/selinux/config
安装和配置atlas软件
rpm -ivh Atlas-2.2.1.el6.x86_64.rpm
echo"PATH=$PATH:/usr/local/mysql-proxy/bin/" > /etc/profile.d/mysql-proxy.sh
source /etc/profile.d/mysql-proxy.sh
ll /usr/local/mysql-proxy/
##mysql-proxy文件功能说明：
bin目录下放的都是可执行文件
“encrypt”是用来生成MySQL密码加密的，在配置的时候会用到
“mysql-proxy”是MySQL自己的读写分离代理
“mysql-proxyd”是360弄出来的，后面有个“d”，服务的启动、重启、停止。都是用他来执行的
conf目录下放的是配置文件
“test.cnf”只有一个文件，用来配置代理的，可以使用vim来编辑
lib目录下放的是一些包，以及Atlas的依赖
log目录下放的是日志，如报错等错误信息的记录
进入bin目录，使用encrypt来对数据库的密码进行加密，我的MySQL数据的用户名是admin，密码是admin，我需要对密码进行加密
cd /usr/local/mysql-proxy/bin/
./encrypt admin 生成加密密码,并复制此密码la1Ux+Bu4zo=
cd /usr/local/mysql-proxy/conf/
cp -v test.cnf test.cnf.bak //备份test.cnf配置文件
vi test.conf 修改后的读写分享的完整配置文件内容
[mysql-proxy]
admin-username = user
admin-password = pwd
proxy-backend-addresses =192.168.100.25:3306
proxy-read-only-backend-addresses =192.168.100.26:[email protected],192.168.100.27:[email protected]
pwds = admin:la1Ux+Bu4zo=, myroot:esSF+VYp1RM=
daemon = true
keepalive = true
event-threads = 8
log-level = message
log-path = /usr/local/mysql-proxy/log
proxy-address = 0.0.0.0:3306
admin-address = 0.0.0.0:2345
设置mysql-proxyd开机启动：
echo "/usr/local/mysql-proxy/bin/mysql-proxyd test start" >> /etc/rc.local
/usr/local/mysql-proxy/bin/mysql-proxyd test stop
source /etc/rc.local
lsof -i:3306 查端口
netstat -atunlp |grep sql 查mysql网络进程
tcpdump抓包： tcpdump -i eth0 port 3306
说明：抓取经过192.168.10.11代理主机的eth0网卡的3306端口的数据包，验证读写分离效果。
登录测试：mysql -uadmin -padmin -h 192.168.10.11 -P3306
登录到atlas管理端：mysql -uuser -ppwd -h 192.168.10.11 -P2345
-------------------------------------------------
启动atlas服务：/usr/local/mysql-proxy/bin/mysql-proxyd test start
重启atlas服务：/usr/local/mysql-proxy/bin/mysql-proxyd test restart
查状态：/usr/local/mysql-proxy/bin/mysql-proxy test status
23、phpadmin部署(centos7系统)
第1步：安装软件。
yum install -y httpd php php-mysql
yum install -y php-mbstring-5.4.16-36.el7_1.x86_64.rpm (要先下载此包)
wget phpMyAdmin-4.4.15-all-languages.tar.bz2
未完，待续.....
本文出自 “网络技术天地” 博客，请务必保留此出处http://1364952.blog.51cto.com/1354952/1955617
以上是关于mariadb-galera集群架构的主要内容，如果未能解决你的问题，请参考以下文章