Mycat——分表分库组件

Posted 落叶飞翔的蜗牛

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Mycat——分表分库组件相关的知识，希望对你有一定的参考价值。

系统开发中，数据库是非常重要的一个点。除了程序的本身的优化，如：SQL语句优化、代码优化，数据库的处理本身优化也是非常重要的。主从、热备、分表分库等都是系统发展迟早会遇到的技术问题问题。Mycat是一个广受好评的数据库中间件，已经在很多产品上进行使用了。希望通过这篇文章的介绍，能学会Mycat的使用。

1.Mycat下载安装

  • 下载http://dl.mycat.io/

  • 然后在conf目录下编辑service.xml，rule.xml，schema.xml三个文件

  • service.xml主要配置Mycat服务的参数，比如端口号，myact用户名和密码使用的逻辑数据库等

  • role.xml主要配置路由策略，主要有分片的片键，拆分的策略（取模还是按区间划分等）

  • schema.xml文件主要配置数据库的信息，例如逻辑数据库名称，物理上真实的数据源以及表和数据源之间的对应关系和路由策略等。

Mycat解压后的目录结构如下：

目录

说明

bin

mycat命令，启动、重启、停止等

catlet

catlet为Mycat的一个扩展功能

conf

Mycat 配置信息,重点关注

lib

Mycat引用的jar包，Mycat是java开发的

logs

日志文件，包括Mycat启动的日志和运行的日志。

2.Mycat架构

Mycat的架构其实很好理解，Mycat是代理，Mycat后面就是物理数据库。和Web服务器的nginx类似。对于使用者来说，访问的都是Mycat，不会接触到后端的数据库。
简单分表的示例如下：

Mycat——分表分库组件

服务器

IP

说明

Mycat

192.168.0.2

Mycat服务器，连接数据库时，连接此服务器

database1

192.168.0.3

物理数据库1，真正存储数据的数据库

database2

192.168.0.4

物理数据库2，真正存储数据的数据库

Mycat作为主数据库中间件，肯定是与代码弱关联的，所以代码是不用修改的，使用Mycat后，数据库连接是不变的，默认端口是8066。连接方式和普通数据库一样，如：jdbc:mysql://192.168.0.2:8066/


3.Mycat具体配置如下：

server.xml

<?xml version="1.0" encoding="UTF-8"?>  

<!DOCTYPE mycat:server SYSTEM "server.dtd">  

<mycat:server xmlns:mycat="http://io.mycat/">  

        <system>  

            <!--   

                <property name="processors">32</property>  

                <property name="processorExecutor">32</property>   

                <property name="bindIp">0.0.0.0</property>   

                <property name="frontWriteQueueSize">4096</property>  

                <property name="idleTimeout">300000</property>  

                <property name="mutiNodePatchSize">100</property>  

            -->  

                <property name="defaultSqlParser">druidparser</property>  

                <property name="mutiNodeLimitType">1</property>  

                <property name="serverPort">8066</property>  

                <property name="managerPort">9066</property>   

        </system>  

        <!-- 任意设置登陆 mycat 的用户名,密码,数据库  -->  

        <user name="test">  

                <property name="password">test</property>  

                <property name="schemas">TESTDB</property>  

        </user>  


        <user name="user">  

                <property name="password">user</property>  

                <property name="schemas">TESTDB</property>  

                <property name="readOnly">true</property>  

        </user>  

        <!--   

        <quarantine>   

           <whitehost>  

              <host host="127.0.0.1" user="mycat"/>  

              <host host="127.0.0.2" user="mycat"/>  

           </whitehost>  

       <blacklist check="false"></blacklist>  

        </quarantine>  

        -->  

</mycat:server> 


参数

说明

user

用户配置节点

--name

登录的用户名，也就是连接Mycat的用户名

--password

登录的密码，也就是连接Mycat的密码

--schemas

数据库名，这里会和schema.xml中的配置关联，多个用逗号分开，例如需要这个用户需要管理两个数据库db1,db2，则配置db1,dbs

--privileges

配置用户针对表的增删改查的权限，具体见文档吧


rule.xml

<?xml version="1.0" encoding="UTF-8"?>

<!-- - - Licensed under the Apache License, Version 2.0 (the "License"); 

    - you may not use this file except in compliance with the License. - You 

    may obtain a copy of the License at - - http://www.apache.org/licenses/LICENSE-2.0 

    - - Unless required by applicable law or agreed to in writing, software - 

    distributed under the License is distributed on an "AS IS" BASIS, - WITHOUT 

    WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. - See the 

    License for the specific language governing permissions and - limitations 

    under the License. -->

<!DOCTYPE mycat:rule SYSTEM "rule.dtd">

<mycat:rule xmlns:mycat="http://io.mycat/">


    <tableRule name="rule1">

        <rule>

            <columns>id</columns>

            <algorithm>mod-long</algorithm>

        </rule>

    </tableRule>


    <function name="mod-long" class="io.mycat.route.function.PartitionByMod">

        <!-- how many data nodes -->

        <property name="count">2</property>

    </function>

</mycat:rule>

分片规则：id mod 2 = 分表



schema.xml

<?xml version="1.0"?>  

<!DOCTYPE mycat:schema SYSTEM "schema.dtd">  

<mycat:schema xmlns:mycat="http://io.mycat/">  


    <!-- 设置表的存储方式.schema name="TESTDB" 与 server.xml中的 TESTDB 设置一致  -->  

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100">  

        <table name="users" primaryKey="id"  dataNode="node_db01" />  

        <table name="item" primaryKey="id" dataNode="node_db02,node_db03" rule="rule1" />  


    </schema>  


    <dataNode name="node_db01" dataHost="dataHost01" database="db01" />  

    <dataNode name="node_db02" dataHost="dataHost01" database="db02" />  

    <dataNode name="node_db03" dataHost="dataHost01" database="db03" />  


    <!-- mycat 逻辑主机dataHost对应的物理主机.其中也设置对应的mysql登陆信息 -->  

    <dataHost name="dataHost01" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native">  

            <heartbeat>select user()</heartbeat>  

            <writeHost host="server1" url="127.0.0.1:3306" user="root" password="123456"/>  

    </dataHost>  

</mycat:schema>

参数

说明

schema

数据库设置，此数据库为逻辑数据库，name与server.xml中schema对应

dataNode

分片信息，也就是分库相关配置

dataHost

物理数据库，真正存储数据的数据库

schema:

属性

说明

name

逻辑数据库名，与server.xml中的schema对应

checkSQLschema

数据库前缀相关设置，建议看文档，这里暂时设为folse

sqlMaxLimit

select 时默认的limit，避免查询全表

table:

属性

说明

name

表名，物理数据库中表名

dataNode

表存储到哪些节点，多个节点用逗号分隔。节点为下文dataNode设置的name

primaryKey

主键字段名，自动生成主键时需要设置

autoIncrement

是否自增

rule

分片规则名

dataNode：

属性

说明

name

节点名，与table中dataNode对应

datahost

物理数据库名，与datahost中name对应

database

物理数据库中数据库名

dataHost：

属性

说明

name

物理数据库名，与dataNode中dataHost对应

balance

均衡负载的方式

writeType

写入方式

dbType

数据库类型

heartbeat

心跳检测语句，注意语句结尾的分号要加。


4.登录mycat

mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

测试数据库：

DROP DATABASE IF EXISTS db01;

CREATE DATABASE db01; 

USE db01;

 CREATE TABLE users (  

    id INT NOT NULL AUTO_INCREMENT,  

    name VARCHAR(50) NOT NULL DEFAULT '',  

    addtime DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,  

    PRIMARY KEY (id)  

)ENGINE=InnoDB DEFAULT CHARSET=utf8; 

############################################################


DROP DATABASE IF EXISTS db02;

CREATE DATABASE db02; 

USE db02; 

 CREATE TABLE item (  

    id INT NOT NULL AUTO_INCREMENT,  

    value INT NOT NULL default 0,  

    addtime DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP,  

    PRIMARY KEY (id)  

)ENGINE=InnoDB DEFAULT CHARSET=utf8;

############################################################


DROP DATABASE IF EXISTS db03;

CREATE DATABASE db03; 

USE db03;

CREATE TABLE item (  

    id INT NOT NULL AUTO_INCREMENT,  

    value INT NOT NULL default 0,  

    addtime DATETIME NOT NULL DEFAULT CURRENT_TIMESTAMP, 

    PRIMARY KEY (id)  

)ENGINE=InnoDB DEFAULT CHARSET=utf8; 

现在通过数据库查询数据库和表，发现只有逻辑数据库TESTDB而不是db01, db02, db03；而且表也是统一显示的，而不是分布在不同的实际数据库中。参考图片如下：

Mycat——分表分库组件

Mycat——分表分库组件

现在在访问Mycat在数据库中插入数据，看数据能否按照前面配置的路由规则进行分表


测试SQL：

insert into users(name,addtime) values('zhangsan',now());

insert into users(name,addtime) values('lisi',now());

insert into item(id,value,addtime) values(1,100,now());

insert into item(id,value,addtime) values(2,100,now());


然后在Mycat上查看是否插入成功，下图显示插入成功

Mycat——分表分库组件

在Mycat上查询数据：

然后登录实际的数据库（MySQL端口号3306），看分表是否成功。下图显示分表成功

至此Mycat安装和测试分表分库结束。功能测试正常。

以上是关于Mycat——分表分库组件的主要内容，如果未能解决你的问题，请参考以下文章

MySQL+MyCat分库分表 读写分离配置MySQL+MyCat分库分表 读写分离配置

Mycat的简单使用分库分表

Mycat+分库分表

《SQL与数据库基础》21. 分库分表

MySQL分库分表之MyCat实现

Mycat 读写分离+分库分表