Mysql集群读写分离（Amoeba）

Posted 2020-08-04 losbyday

实验环境

Master、Amoeba--IP:192.168.1.5

Slave---IP:192.168.1.10

安装JDK

JDK下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

[[email protected] ~]# mkdir /usr/local/JDF

[[email protected] ~]# tar -xvf jdk-8u101-linux-x64.tar.gz -C /usr/local/JDF/

[[email protected] ~]#vim /etc/profile

JAVA_HOME=/usr/local/JDF/jdk1.8.0_101
export JAVA_HOME
PATH=$JAVA_HOME/bin:$PATH
export PATH
CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
export CLASSPATH

####测试JDK是否OK

[[email protected] ~]# java -version

java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)

安装Amoeba

Amoeba下载地址：https://sourceforge.net/projects/amoeba/files/Amoeba%20for%20mysql/

[[email protected] ~]# mkdir /usr/local/amoeba

[[email protected] ~]# unzip amoeba-mysql-1.3.1-BETA.zip -d /usr/local/amoeba

[[email protected] ~]# chmod -R +x /usr/local/amoeba/bin/

主从授权，增加用户，修改配置文件

主（192.168.1.5 vim /etc/my.cnf）：

server-id = 1 #主数据库标志 

从（192.168.1.10  vim /etc/my.cnf）：

server-id = 2 #从数据库标志 

所有参与主从分离的机器（192.168.1.5，192.168.1.10）：

mysql-->grant all privileges on *.* to [email protected]‘%‘ identified by ‘amoeba‘;

mysql-->flush privileges;

Amoeba配置介绍

Amoeba For MySQL 的使用非常简单，所有的配置文件都是标准的XML 文件，总共有四个配置文件。分别为：

• amoeba.xml：主配置文件，配置所有数据源以及Amoeba 自身的参数设置；实现主从的话配置这个文件就可以了；
• rule.xml：配置所有Query 路由规则的信息；
• functionMap.xml：配置用于解析Query 中的函数所对应的Java 实现类；
• rullFunctionMap.xml：配置路由规则中需要使用到的特定函数的实现类；

下面是一份已经修改OK的amoeba.xml配置文件

[[email protected] ~]# vim /usr/local/amoeba/conf/amoeba.xml

<?xml version="1.0" encoding="gbk"?>

<!DOCTYPE amoeba:configuration SYSTEM "amoeba.dtd">
<amoeba:configuration xmlns:amoeba="http://amoeba.meidusa.com/">

    <server>
        <!-- proxy server绑定的端口 -->
        <property name="port">8888</property>
        
        <!-- proxy server绑定的IP -->
        
        <property name="ipAddress">192.168.1.5</property>
        <!-- 对外验证的用户名 -->
        <property name="user">amoeba</property>
        <!-- 对外验证的密码 -->
        <property name="password">amoeba</property>
    
        <!-- proxy server net IO Read thread size -->
        <property name="readThreadPoolSize">20</property>
        
        <!-- proxy server client process thread size -->
        <property name="clientSideThreadPoolSize">30</property>
        
        <!-- mysql server data packet process thread size -->
        <property name="serverSideThreadPoolSize">30</property>
        
        <!-- socket Send and receive BufferSize(unit:K)  -->
        <property name="netBufferSize">128</property>
        
        <!-- Enable/disable TCP_NODELAY (disable/enable Nagle‘s algorithm). -->
        <property name="tcpNoDelay">true</property>
        
    
        <!-- query timeout( default: 60 second , TimeUnit:second) -->
        <property name="queryTimeout">60</property>
    </server>
    
    <!-- 
        每个ConnectionManager都将作为一个线程启动。
        manager负责Connection IO读写/死亡检测
    -->
    <connectionManagerList>
        <connectionManager name="defaultManager" class="com.meidusa.amoeba.net.MultiConnectionManagerWrapper">
            <property name="subManagerClassName">com.meidusa.amoeba.net.AuthingableConnectionManager</property>
            
            <!-- 
              default value is avaliable Processors 
            <property name="processors">5</property>
             -->
        </connectionManager>
    </connectionManagerList>
    
    <dbServerList>
        <!-- 
            一台mysqlServer 需要配置一个pool，
            如果多台 平等的mysql需要进行loadBalance， 
            平台已经提供一个具有负载均衡能力的objectPool：com.meidusa.amoeba.mysql.server.MultipleServerPool
            简单的配置是属性加上 virtual="true",该Pool 不允许配置factoryConfig
            或者自己写一个ObjectPool。
        -->
        <dbServer name="server1">
            
            <!-- PoolableObjectFactory实现类 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真实mysql数据库端口 -->
                <property name="port">3306</property>
                
                <!-- 真实mysql数据库IP -->
                <property name="ipAddress">192.168.1.5</property>
                <property name="schema">test</property>
                
                <!-- 用于登陆mysql的用户名 -->
                <property name="user">amoeba</property>
                
                <!-- 用于登陆mysql的密码 -->
                <property name="password">amoeba</property>

            </factoryConfig>
            
            <!-- ObjectPool实现类 -->
            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
                <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>
        <dbServer name="server2">
            
            <!-- PoolableObjectFactory实现类 -->
            <factoryConfig class="com.meidusa.amoeba.mysql.net.MysqlServerConnectionFactory">
                <property name="manager">defaultManager</property>
                
                <!-- 真实mysql数据库端口 -->
                <property name="port">3306</property>
                
                <!-- 真实mysql数据库IP -->
                <property name="ipAddress">192.168.1.10</property>
                <property name="schema">test</property>
                
                <!-- 用于登陆mysql的用户名 -->
                <property name="user">amoeba</property>
                
                <!-- 用于登陆mysql的密码 -->
                <property name="password">amoeba</property>

            </factoryConfig>
            
            <!-- ObjectPool实现类 -->
            <poolConfig class="com.meidusa.amoeba.net.poolable.PoolableObjectPool">
                <property name="maxActive">200</property>
                <property name="maxIdle">200</property>
                <property name="minIdle">10</property>
                <property name="minEvictableIdleTimeMillis">600000</property>
                <property name="timeBetweenEvictionRunsMillis">600000</property>
                <property name="testOnBorrow">true</property>
                <property name="testWhileIdle">true</property>
            </poolConfig>
        </dbServer>
        
        <dbServer name="master" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
                <property name="poolNames">server1</property>
            </poolConfig>
        </dbServer>
        <dbServer name="slave" virtual="true">
            <poolConfig class="com.meidusa.amoeba.server.MultipleServerPool">
                <!-- 负载均衡参数 1=ROUNDROBIN , 2=WEIGHTBASED , 3=HA-->
                <property name="loadbalance">1</property>
                
                <!-- 参与该pool负载均衡的poolName列表以逗号分割 -->
                <property name="poolNames">server2</property>
            </poolConfig>
        </dbServer>
    </dbServerList>
    
    <queryRouter class="com.meidusa.amoeba.mysql.parser.MysqlQueryRouter">
        <property name="ruleConfig">${amoeba.home}/conf/rule.xml</property>
        <property name="functionConfig">${amoeba.home}/conf/functionMap.xml</property>
        <property name="ruleFunctionConfig">${amoeba.home}/conf/ruleFunctionMap.xml</property>
        <property name="LRUMapSize">1500</property>
        <property name="defaultPool">server1</property>
        
   　　 <!-- 读写分离在这里 -->
        <property name="writePool">master</property>
        <property name="readPool">slave</property>
    
        <property name="needParse">true</property>
    </queryRouter>
</amoeba:configuration>

启动Amoeba

# cd /usr/local/amoeba/bin

 

这种启动方便看nohup.log日志.防止提示溢出

#:nohup bash -x amoeba & 

 

常见错误：1

The stack size specified is too small, Specify at least 228k

Error: Could not create the Java Virtual Machine.

Error: A fatal exception has occurred. Program will exit.

解决办法:

# vim /usr/local/amoeba/bin/amoeba

#DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss128k"  注释

DEFAULT_OPTS="-server -Xms256m -Xmx256m -Xss256k"   增加

常见错误2:

org.xml.sax.SAXParseException; lineNumber: 406; columnNumber: 6; 注释中不允许出现字符串 "--"。

解决办法：

后来改了一大通，试了一下午，才发现。 我们的注释两边要有空格，才行。

 

 

测试是否读写分离

在(master)主上的test库建立一个los的表

Mysql->use test;

Mysql->create table los(id int(10),name char(10));

 

在(slave)从上查看test库是否同步了los表

Mysql-> use test;

Mysql->show tables;

 

在主(master)操作.插入一条数据.

mysql-->insert into alvin values(1,‘master‘);

 

在从(slave)操作,插入一条数据.

mysql-->insert into alvin values(2,‘slave‘);

注意因为从同步主的数据。所以这里有2条数据，

(1)     先验证读。我们配置文件是用的是DR轮询,注意这个IP地址要写：amoeba的IP地址，不是master也不是slave （只是实验，就把amoeba跟master放在同一个机器上面）是通过amoeba代理登陆。192.168.1.5

(2)     验证写，正常来说。如果只有全部写到主里面，两边的数据才会以致。如果其中有一个不一致的话。那么说明写到从里面去了。因为主不会同步从的数据。都是单向数据传输。

 

我就稍微稍微偷一下懒嘛，弄清楚读写分离的原理，弄懂原理就好办了，肯定有各种想法在里面，如果这些想法都能得到验证，那么主从就Ok了

参考度娘时好多博客文件，然后自己做实验通过OK