MyCAT常用分片规则之分片枚举

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了MyCAT常用分片规则之分片枚举相关的知识,希望对你有一定的参考价值。

MyCAT支持多种分片规则,下面测试的这种是分片枚举。适用场景,列值的个数是固定的,譬如省份,月份等。

在这里,需定义三个值,规则均是在rule.xml中定义。

1. tableRule

2. function

3. mapFile

首先,定义tableRule,

   <tableRule name="sharding-by-intfile-test">
                <rule>
                        <columns>province</columns>
                        <algorithm>hash-int-test</algorithm>
                </rule>
    </tableRule>

其中,sharding-by-intfile-test是规则名,会在schema.xml中用到。

columns指的是对省份进行分片。

algorithm是算法名,该算法必须在function中定义。

 

其次,定义function,

      <function name="hash-int-test"
                class="org.opencloudb.route.function.PartitionByFileMap">
                <property name="mapFile">partition-hash-int-test.txt</property>
                <property name="type">1</property>
                <property name="defaultNode">0</property>
      </function>

其中,mapFile指的是配置文件名

type默认值为0,0表示Integer,非零表示String。因为我接下来的测试是基于省份分片,所以需type指定为1。

defaultNode 默认节点:小于0表示不设置默认节点,大于等于0表示设置默认节点
默认节点的作用:枚举分片时,如果碰到不识别的枚举值,就让它路由到默认节点。如果不配置默认节点(defaultNode值小于0表示不配置默认节点),碰到不识别的枚举值就会报错,like this:can’t find datanode for sharding column:column_name val:ffffffff

 

第三、在rule.xml当前目录下创建partition-hash-int-test.txt文件,定义枚举的规则

hubei=0
tianjin=1
guangdong=2

其中,hubei会被分发到第一个节点中,tianjin分发被第二个节点中,guangdong第三个节点中。

 

现在开始测试,

首先,在shema.xml定义表的分片规则

<table name="t_vote" dataNode="dn2,dn1,dn3" rule="sharding-by-intfile-test" />

登录MyCAT创建表

# mysql -utest -ptest -h127.0.0.1 -P8066 -DTESTDB

mysql> create table t_vote(id varchar(10),province varchar(10));
Query OK, 0 rows affected (0.04 sec)

mysql> insert into t_vote(id,province) values(database(),hubei);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),tianjin);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),guangdong);
Query OK, 1 row affected (0.01 sec)

mysql> insert into t_vote(id,province) values(database(),shandong);
Query OK, 1 row affected (0.01 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
+------+-----------+
4 rows in set (0.03 sec)

hubei之所以是db2,因为它对应的是第一个节点,而在schema.xml定义t_vote表时,第一个节点即是dn2。

shandong之所以是在db2,因为它并没有在分片规则中定义,所以会被分到默认节点,默认节点defaultNode的是0,即第一个节点。

 

总结:

1. 刚开始没有指定function中type的值,即<property name="type">1</property>。导致insert时报以下错误,因为默认的分片类型是integer,而不是string。

mysql> insert into t_vote(id,province) values(database(),hubei);
ERROR 1064 (HY000): For input string: "hubei"

2. 如果没有指定function中defaultNode值,则插入不识别的枚举值时,报以下错误:

mysql>  insert into t_vote(id,province) values(database(),shandong);
ERROR 1064 (HY000): cant find any valid datanode :T_VOTE -> PROVINCE -> shandong

3. MyCAT其实还支持动态加载功能

譬如,我将defaultNode的值定义到partition-hash-int-test.txt中,哈哈,这点也是支持的。当然,前提是注释掉function中defaultNode值,不然function中的defaultNode值会覆盖掉partition-hash-int-test.txt中DEFAULT_NODE值。

hubei=0
tianjin=1
guangdong=2
DEFAULT_NODE=2

登录到MyCAT 9066管理端口

# mysql -utest -ptest -h127.0.0.1 -P9066

mysql> reload @@config;
Query OK, 1 row affected (0.03 sec)
Reload config success

登录到MyCAT 8066端口

mysql> insert into t_vote(id,province) values(database(),shanxi);
Query OK, 1 row affected (0.00 sec)

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db2  | hubei     |
| db2  | shandong  |
| db3  | guangdong |
| db3  | shanxi    |
+------+-----------+
5 rows in set (0.01 sec)

4. 该规则有个问题,如果中途修改了defaultNode的值,譬如,我刚开始设置的是0,插入了shandong这个值,现在修改为2。

mysql> select * from t_vote;
+------+-----------+
| id   | province  |
+------+-----------+
| db1  | tianjin   |
| db3  | guangdong |
| db2  | shanxi    |
| db2  | hubei     |
| db2  | shandong  |
+------+-----------+
5 rows in set (0.01 sec)

mysql> select * from t_vote where province=shandong;
Empty set (0.00 sec)

根据where条件无法检索出原来插入的值。

日志中显示的信息如下:

01/24 15:17:50.028  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:76) -SQLRouteCache  miss cache ,key:TESTDBselect * from t_vote where province=shandong
01/24 15:17:50.029  DEBUG [$_NIOREACTOR-0-RW] (EnchachePool.java:59) -SQLRouteCache add cache ,key:TESTDBselect * from t_vote where province=shandong value:select * from t_vote where province=shandong, route={
   1 -> dn3{SELECT *
FROM t_vote
WHERE province = shandong
LIMIT 100}
}

dn3是现在的defaultNode=2所对应的节点。

 

以上是关于MyCAT常用分片规则之分片枚举的主要内容,如果未能解决你的问题,请参考以下文章

Mycat探索之旅----常用的分片规则

Mycat 分片策略

MyCat的分片规则

《MyCat 学习笔记》第六篇.数据分片 之 按月数据分片

mycat

mycat