linux中mycat的配置,分片,以及主从复制

Posted Z、某某

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了linux中mycat的配置,分片,以及主从复制相关的知识,希望对你有一定的参考价值。

1.1    安装环境

1、jdk:要求jdk必须是1.7及以上版本

2、mysql:推荐mysql是5.5以上版本

1.2  安装步骤

Mycat有windows、linux多种版本。本教程为linux安装步骤,windows基本相同。

第一步:下载Mycat-server-xxxx-linux.tar.gz

第二步:将压缩包解压缩。建议将mycat放到/usr/local/mycat目录下。

第三步:进入mycat目录,启动mycat

./mycat start

停止:

./mycat stop

mycat 支持的命令{ console | start | stop | restart | status | dump }

Mycat的默认端口号为:8066

   Mycat的分片

1.1    需求

把商品表分片存储到三个数据节点上

1.2   安装环境分析

两台mysql数据库服务器:

Host1:192.168.25.134

Host2:192.168.25.166

 

host1环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db1、db3

 

 

mysql节点2环境

操作系统版本 : centos6.4

数据库版本 : mysql-5.6

mycat版本 :1.4 release

数据库名 : db2

MyCat安装到节点1上(需要安装jdk)

Schema.xml配置

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://org.opencloudb/">

<schema name="mycat007" checkSQLschema="false" sqlMaxLimit="100">

<!-- <table name="TB_ITEM" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<!-- <table name="user" primaryKey="ID" dataNode="dn1,dn3,dn2" rule="auto-sharding-long" /> -->
<table name="user" primaryKey="id" dataNode="dn1" rule="auto-sharding-long" />

</schema>

<!-- <dataNode name="dn1" dataHost="localhost128" database="db1" />
<dataNode name="dn3" dataHost="localhost128" database="db3" />
<dataNode name="dn2" dataHost="localhost129" database="db2" /> -->
<!-- 分片管理 -->
<dataNode name="dn1" dataHost="localhost3" database="db1" />
<dataHost name="localhost128" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.101:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost129" maxCon="1000" minCon="10" balance="0"
writeType="0" dbType="mysql" dbDriver="native" switchType="1" slaveThreshold="100">
<heartbeat>select user()</heartbeat>
<!-- can have multi write hosts -->
<writeHost host="hostM1" url="192.168.146.102:3306" user="root"
password="123456">

</writeHost>

</dataHost>
<dataHost name="localhost3" maxCon="1000" minCon="10" balance="1"
writeType="0" dbType="mysql" dbDriver="native" switchType="2" slaveThreshold="100">
<heartbeat>show slave status</heartbeat>
<writeHost host="hostM" url="192.168.146.101:3306" user="root"
password="123456">
<readHost host="hostS" url="192.168.146.102:3306" user="root"
password="123456" />
</writeHost>
</dataHost>


</mycat:schema>

 

 

Server.xml配置

<user name="test">

    <property name="password">test</property>

    <property name="schemas">cctmall</property>

    <property name="readOnly">false</property>

</user>

注意:要和Schema.xml保持一致

测试分片

由于配置的分片规则为“auto-sharding-long”,所以mycat会根据此规则自动分片。

每个datanode中保存一定数量的数据。根据id进行分片

经测试id范围为:

Datanode1:1~5000000

Datanode2:5000001~10000000

Datanode3:10000001~15000000

 

当15000000以上的id插入时报错:

[Err] 1064 - can‘t find any valid datanode :TB_ITEM -> ID -> 15000001

此时需要添加节点了。

Mycat读写分离

数据库读写分离对于大型系统或者访问量很高的互联网应用来说,是必不可少的一个重要功能。对于MySQL来说,标准的读写分离是主从模式,一个写节点Master后面跟着多个读节点,读节点的数量取决于系统的压力,通常是1-3个读节点的配置

  Mysql的主从复制

1、主DB server和从DB server数据库的版本一致

2、主DB server和从DB server数据库数据名称一致

3、主DB server开启二进制日志,主DB server和从DB server的server_id都必须唯一

 

   Mysql主服务器配置

第一步:修改my.cnf文件:

如果在/etc 下没有my.cnf

从/usr/share/mysql下复制一个过来/etc/,改一下名字即可my-default.cnf--> my.cnf

在[mysqld]段下添加:

binlog-do-db=db1

binlog-ignore-db=mysql

#启用二进制日志

log-bin=mysql-bin

#服务器唯一ID,一般取IP最后一段

server-id=134

第二步:重启mysql服务

service mysql restart

第三步:建立帐户并授权slave

mysql>GRANT FILE ON *.* TO ‘backup‘@‘%‘ IDENTIFIED BY ‘123456‘;

注意:有时候会出现错误

错误:ERROR 1045 (28000): Access denied for user ‘root‘@‘%‘ (using password: YES)

mysql>GRANT REPLICATION SLAVE, REPLICATION CLIENT ON *.* to ‘backup‘@‘%‘ identified by ‘123456‘;

然后更改配置mysql中的user表中的grant 改为yes;

#一般不用root帐号,“%”表示所有客户端都可能连,只要帐号,密码正确,此处可用具体客户端IP代替,如192.168.145.226,加强安全

刷新权限

mysql> FLUSH PRIVILEGES;

 

查看mysql现在有哪些用户

mysql>select user,host from mysql.user;

 

第四步:查询master的状态

mysql> show master status;

+------------------+----------+--------------+------------------+-------------------+

| File             | Position | Binlog_Do_DB | Binlog_Ignore_DB | Executed_Gtid_Set |

+------------------+----------+--------------+------------------+-------------------+

| mysql-bin.000001 |      120 | db1          | mysql            |                   |

+------------------+----------+--------------+------------------+-------------------+

1 row in set

1.1    Mysql从服务器配置

第一步:修改my.cnf文件

[mysqld]

server-id=166

 

第二步:配置从服务器

mysql>change master to master_host=‘192.168.25.134‘,master_port=3306,master_user=‘backup‘,master_password=‘123456‘,master_log_file=‘mysql-bin.000001‘,master_log_pos=120

 

注意语句中间不要断开,master_port为mysql服务器端口号(无引号),master_user为执行同步操作的数据库账户,“120”无单引号(此处的120就是show master status 中看到的position的值,这里的mysql-bin.000001就是file对应的值)。

 

第二步:启动从服务器复制功能

Mysql>start slave;

 

第三步:检查从服务器复制功能状态:

mysql> show slave status

 

……………………(省略部分)

Slave_IO_Running: Yes //此状态必须YES

Slave_SQL_Running: Yes //此状态必须YES

……………………(省略部分)

 

注:Slave_IO及Slave_SQL进程必须正常运行,即YES状态,否则都是错误的状态(如:其中一个NO均属错误)。

 

错误处理:

如果出现此错误:

Fatal error: The slave I/O thread stops because master and slave have equal MySQL server UUIDs; these UUIDs must be different for replication to work.

因为是mysql是克隆的系统所以mysql的uuid是一样的,所以需要修改。

解决方法:

删除/var/lib/mysql/auto.cnf文件,重新启动服务。

 

 

    Mycat配置

Mycat 1.4 支持MySQL主从复制状态绑定的读写分离机制,让读更加安全可靠,配置如下:

   

<dataNode name="dn1" dataHost="localhost1" database="db1" />

    <dataNode name="dn2" dataHost="localhost1" database="db2" />

    <dataNode name="dn3" dataHost="localhost1" database="db3" />

    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"

       writeType="0" dbType="mysql" dbDriver="native" switchType="2"  slaveThreshold="100">

       <heartbeat>show slave status</heartbeat>

       <writeHost host="hostM" url="192.168.25.134:3306" user="root"

           password="root">

           <readHost host="hostS" url="192.168.25.166:3306" user="root"

           password="root" />

       </writeHost>

    </dataHost>

 

 

 

(1) 设置 balance="1"与writeType="0"

Balance参数设置:

1. balance=“0”, 所有读操作都发送到当前可用的writeHost上。

2. balance=“1”,所有读操作都随机的发送到readHost。

3. balance=“2”,所有读操作都随机的在writeHost、readhost上分发

WriteType参数设置:

1. writeType=“0”, 所有写操作都发送到可用的writeHost上。

2. writeType=“1”,所有写操作都随机的发送到readHost。

3. writeType=“2”,所有写操作都随机的在writeHost、readhost分上发。

 “readHost是从属于writeHost的,即意味着它从那个writeHost获取同步数据,因此,当它所属的writeHost宕机了,则它也不会再参与到读写分离中来,即“不工作了”,这是因为此时,它的数据已经“不可靠”了。基于这个考虑,目前mycat 1.3和1.4版本中,若想支持MySQL一主一从的标准配置,并且在主节点宕机的情况下,从节点还能读取数据,则需要在Mycat里配置为两个writeHost并设置banlance=1。”

(2) 设置 switchType="2" 与slaveThreshold="100"

switchType 目前有三种选择:

-1:表示不自动切换

1 :默认值,自动切换

2 :基于MySQL主从同步的状态决定是否切换

“Mycat心跳检查语句配置为 show slave status ,dataHost 上定义两个新属性: switchType="2" 与slaveThreshold="100",此时意味着开启MySQL主从复制状态绑定的读写分离与切换机制。Mycat心跳机制通过检测 show slave status 中的 "Seconds_Behind_Master", "Slave_IO_Running", "Slave_SQL_Running" 三个字段来确定当前主从同步的状态以及Seconds_Behind_Master主从复制时延。

 













































以上是关于linux中mycat的配置,分片,以及主从复制的主要内容,如果未能解决你的问题,请参考以下文章

JAVAEE——宜立方商城13:Mycat数据库分片主从复制读写分离100%Linux中成功安装Mysql的方法

mycat

mycat

基于mycat实现mysql的读写分离

主从复制进阶Mycat代理

Mycat的高可用与负载均衡