ShardingSphere实现数据库读写分离，主从库分离，docker详细教程

Posted 2023-04-05 愛芳芳

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了ShardingSphere实现数据库读写分离，主从库分离，docker详细教程相关的知识，希望对你有一定的参考价值。

一.什么是 ShardingSphere

引用官方的话：
Apache ShardingSphere 是一款分布式的数据库生态系统，可以将任意数据库转换为分布式数据库，并通过数据分片、弹性伸缩、加密等能力对原有数据库进行增强。

Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如何充分合理地利用数据库的计算和存储能力，而并非实现一个全新的数据库。它站在数据库的上层视角，关注它们之间的协作多于数据库自身。

ShardingSphere-JDBC
ShardingSphere-JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。

ShardingSphere-Proxy
ShardingSphere-Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支持。

官方文档 - 英文版
 官方文档 - 中文版

这里采用ShardingSphere-Proxy实现，介绍ShardingSphere-Proxy的搭建过程，基于ShardingSphere-Proxy实现数据库读写分离，主从复制，对于想了解数据库分片分库等其他功能的同学，建议仔细看官方文档，都有比较详细的说明

二.安装数据库，一主两重，数据库版本：8.0.28

我这里测试三台数据库都只是安装在本地，端口号不一样，真实业务情景肯定是建议多台服务器分离安装的。

1.docker安装mysql8.0.28

A.主数据库

docker pull mysql:8.0.28

docker run -p 3306:3306 --name mysql-master \\
-v /home/mysql/master/log:/var/log/mysql \\
-v /home/mysql/master/data:/var/lib/mysql \\
-v /home/mysql/master/conf:/etc/mysql \\
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \\
-d mysql:8.0.28

修改配置

vim /home/mysql/master/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=1
log-bin=mysql-bin
#说明一下这是主库
read-only=0
#同步的数据库有这些
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-master

B.从数据库01

docker pull mysql:8.0.28

docker run -p 3317:3306 --name mysql-slaver-01 \\
-v /home/mysql/slaver/log:/var/log/mysql \\
-v /home/mysql/slaver/data:/var/lib/mysql \\
-v /home/mysql/slaver/conf:/etc/mysql \\
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \\
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=2
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-slaver-01

C.从数据库02

docker pull mysql:8.0.28

docker run -p 3327:3306 --name mysql-slaver-02 \\
-v /home/mysql/slaver/log:/var/log/mysql \\
-v /home/mysql/slaver/data:/var/lib/mysql \\
-v /home/mysql/slaver/conf:/etc/mysql \\
-e MYSQL_ROOT_PASSWORD=h@L.xZ_i20@2 \\
-d mysql:8.0.28

修改配置

vim /home/mysql/slaver/conf/my.cnf

配置模板如下：

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
pid-file        = /var/run/mysqld/mysqld.pid
socket          = /var/run/mysqld/mysqld.sock
datadir         = /var/lib/mysql
secure-file-priv= NULL

max_connections=2000
init_connect='SET collation_connection = utf8_unicode_ci'
init_connect='SET NAMES utf8'
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
#注意：skip-name-resolve 一定要加，不然连接 mysql 会超级慢
skip-name-resolve
#添加 master 主从复制部分配置
server-id=3
log-bin=mysql-bin
#从库只读 read-only=1
read-only=1
#同步的 库
binlog-do-db=test
#不需要同步的数据库有这些
replicate-ignore-db=mysql
replicate-ignore-db=sys
replicate-ignore-db=information_schema
replicate-ignore-db=performance_schema

配置完成，重启

docker restart mysql-slaver-02

2.为 mysql-master 授权用户来同步数据

1.执行命令

docker exec -it mysql-master /bin/bash

mysql -uroot -p

use mysql;

update user set Host='%' where User='root';

ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';

FLUSH PRIVILEGES;

2.开启系统权限

GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;

3.查看master 的相关信息

show master status\\G;

留存好这个 “mysql-bin.000001”和Position 889，后面将用到

3.配置 slaver 同步 master 数据（01和02从库是一样的）

1.执行命令

docker exec -it mysql-slaver-02 /bin/bash

2.执行sql

mysql -uroot -p

update user set Host='%' where User='root';

ALTER user 'root' IDENTIFIED BY 'h@L.xZ_i20@2';

FLUSH PRIVILEGES;

#2.开启系统权限
GRANT XA_RECOVER_ADMIN ON *.* TO root@'%' ;

#3、重新加载权限表
flush privileges;

#4、设置主库连接，这里的 “mysql-bin.000001” 就是上面让记来下的			binlog,master_log_pos=889为Position

change master to
master_host='127.0.0.1',master_user='root',master_password='h@L.xZ_i20@2',master_log_file='mysql-bin.000001',master_log_pos=889,master_port=3306;

#5、启动从库同步
start slave;

#6、查看从库状态
show slave status\\G;

看到这两个说明已经可以进行主从复制了：

如果开启主从复制失败，需要修改和重新启动，依次执行一下命令：

stop slave;
reset slave;
change master to ......#如上面完整命令
start slave;

sql主从库库创建数据库：

CREATE DATABASE test;

三.配置读写分离，创建两个yaml配置文件

1. config-test.yaml

# 配置逻辑数据库名
# 配置逻辑数据库名
schemaName: sharding_db

# 配置物理数据库参数
dataSources:
  # 主库
  write_ds:
    url: jdbc:mysql://127.0.0.1:3306/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5
  # 从库0
  read_ds_0:
    url: jdbc:mysql://127.0.0.1:3317/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5
  # 从库1
  read_ds_1:
    url: jdbc:mysql://127.0.0.1:3327/test?autoReconnect=true&useUnicode=true&characterEncoding=UTF-8&useSSL=false&allowMultiQueries=true&useAffectedRows=true&allowPublicKeyRetrieval=true
    username: root
    password: h@L.xZ_i20@2
    connectionTimeoutMilliseconds: 3000
    idleTimeoutMilliseconds: 60000
    maxLifetimeMilliseconds: 1800000
    maxPoolSize: 200
    minPoolSize: 5


# 配置主从规则
rules:
  - !READWRITE_SPLITTING
    dataSources:
      pr_ds:
        writeDataSourceName: write_ds
        readDataSourceNames:
          - read_ds_0
          - read_ds_1

2.server.yaml

rules:
  - !AUTHORITY
    users:
      - root@%:h@L.xZ_i20@2
    provider:
      type: ALL_PRIVILEGES_PERMITTED

props:
  sql-show: true
  sql-simple: true

3.新建一个文件夹用于存放以上两个配置文件：/home/shardingsphere-proxy/conf

4.自行下载MYSQ 的驱动包（mysql-connector-java-8.0.27.jar），放到映射目录中：/home/shardingsphere-proxy/ext-lib

四.docker 安装 sharding proxy

1.拉取镜像

docker pull apache/shardingsphere-proxy

2.安装容器并运行

docker run  --name=shardingsphere_proxy -d -v /home/shardingsphere-proxy/conf:/opt/shardingsphere-proxy/conf -v /home/shardingsphere-proxy/ext-lib:/opt/shardingsphere-proxy/ext-lib -p 13308:3307 apache/shardingsphere-proxy:latest

3.重启容器

docker restart shardingsphere_proxy

4.查看日志

docker logs shardingsphere_proxy
#或者 
docker logs -f --tail 500 shardingsphere_proxy

五.感谢看到这里，有遇到问题，请留言

分库分表 ---SpringBoot + ShardingSphere 实现读写分离

ShardingSphere实现读写分离

有关ShardingSphere概念前面写了两篇博客:

1、分库分表(1) --- 理论

2、分库分表(2) --- ShardingSphere(理论)

下面就这个项目做个整体简单介绍，并在文章最下方附上项目Github地址。

一、项目概述

1、技术架构

项目总体技术选型

SpringBoot2.0.6 + shardingsphere4.0.0-RC1 + Maven3.5.4  + MySQL + lombok(插件)

2、项目说明

场景 如果实际项目中Mysql是 Master-Slave (主从)部署的，那么数据保存到Master库，Master库数据同步数据到Slave库，数据读取到Slave库，

这样可以减缓数据库的压力。

3、数据库设计

我们这个项目中Mysql服务器并没有实现主从部署,而是同一个服务器建立两个库，一个当做Master库，一个当做Slave库。所以这里是不能实现的功能就是Master库

新增数据主动同步到Slave库。这样也更有利于我们测试看效果。

Master库

Slave库

从两幅图中可以看出，我这里在同一个服务器建两个数据库来模拟主从数据库。为了方便看测试效果，这里主从数据库中的数据是不一样的。

二、核心代码

说明 完整的代码会放到GitHub上，这里只放一些核心代码。

1、pom.xml

    <properties>
        <java.version>1.8</java.version>
        <mybatis-spring-boot>2.0.1</mybatis-spring-boot>
        <druid>1.1.16</druid>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        <dependency>
            <groupId>org.mybatis.spring.boot</groupId>
            <artifactId>mybatis-spring-boot-starter</artifactId>
            <version>${mybatis-spring-boot}</version>
        </dependency>
        <!--mybatis驱动-->
        <dependency>
            <groupId>mysql</groupId>
            <artifactId>mysql-connector-java</artifactId>
        </dependency>
        <!--druid数据源-->
        <dependency>
            <groupId>com.alibaba</groupId>
            <artifactId>druid-spring-boot-starter</artifactId>
            <version>${druid}</version>
        </dependency>
        <!--shardingsphere最新版本-->
        <dependency>
            <groupId>org.apache.shardingsphere</groupId>
            <artifactId>sharding-jdbc-spring-boot-starter</artifactId>
            <version>4.0.0-RC1</version>
        </dependency>
        <!--lombok实体工具-->
        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
        </dependency>
    </dependencies>

2、application.properties

server.port=8088
#指定mybatis信息
mybatis.config-location=classpath:mybatis-config.xml

spring.shardingsphere.datasource.names=master,slave0
# 数据源 主库
spring.shardingsphere.datasource.master.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.master.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.master.url=jdbc:mysql://localhost:3306/master?characterEncoding=utf-8
spring.shardingsphere.datasource.master.username=root
spring.shardingsphere.datasource.master.password=123456
# 数据源 从库
spring.shardingsphere.datasource.slave0.type=com.alibaba.druid.pool.DruidDataSource
spring.shardingsphere.datasource.slave0.driver-class-name=com.mysql.jdbc.Driver
spring.shardingsphere.datasource.slave0.url=jdbc:mysql://localhost:3306/slave?characterEncoding=utf-8
spring.shardingsphere.datasource.slave0.username=root
spring.shardingsphere.datasource.slave0.password=123456

# 读写分离
spring.shardingsphere.masterslave.load-balance-algorithm-type=round_robin
spring.shardingsphere.masterslave.name=ms
spring.shardingsphere.masterslave.master-data-source-name=master
spring.shardingsphere.masterslave.slave-data-source-names=slave0
#打印sql
spring.shardingsphere.props.sql.show=true

Sharding-JDBC可以通过Java，YAML，Spring命名空间和Spring Boot Starter四种方式配置，开发者可根据场景选择适合的配置方式。具体可以看官网。

3、UserController

@RestController
public class UserController {

    @Autowired
    private UserService userService;
    /**
     * @Description: 保存用户
     */
    @PostMapping("save-user")
    public Object saveUser() {
        return userService.saveOne(new User("小小", "女", 3));
    }
    /**
     * @Description: 获取用户列表
     */
    @GetMapping("list-user")
    public Object listUser() {
        return userService.list();
    }
}

三、测试验证

1、读数据

我们可以发现读取的数据是Slave库的数据。我们再来看控制台打印的SQL。可以看到读操作是Slave库。

2、写数据

请求

localhost:8088/save-user?name=小小&sex=女&age=3

查看Mater数据库

发现Master数据库已经多了一条数据了，再看控制台打印的SQL。

这个时候如果去看Slave库的话这条新增的数据是没有的，因为没有同步过去。

Github地址：https://github.com/yudiandemingzi/spring-boot-sharding-sphere

参考

1、ShardingSphere中文文档

2、ShardingSphere官网

3、Shardingsphere Github库

 我相信，无论今后的道路多么坎坷，只要抓住今天，迟早会在奋斗中尝到人生的甘甜。抓住人生中的一分一秒，胜过虚度中的一月一年！(18）

以上是关于ShardingSphere实现数据库读写分离，主从库分离，docker详细教程的主要内容，如果未能解决你的问题，请参考以下文章

ShardingSphere实现数据库读写分离，主从库分离，docker详细教程

分库分表 ---SpringBoot + ShardingSphere 实现读写分离

SpringBoot + ShardingSphere实现读写分离，分库分表

ShardingSphere实现数据库读写分离，主从库分离，docker详细教程

一.什么是 ShardingSphere

二.安装数据库，一主两重，数据库版本：8.0.28

1.docker安装mysql8.0.28

2.为 mysql-master 授权用户来 同步数据

3.配置 slaver 同步 master 数据（01和02从库是一样的）

sql主从库库创建数据库：

三.配置读写分离，创建两个yaml配置文件

四.docker 安装 sharding proxy

五.感谢看到这里，有遇到问题，请留言

分库分表 ---SpringBoot + ShardingSphere 实现读写分离

ShardingSphere实现读写分离

一、项目概述

1、技术架构

2、项目说明

3、数据库设计

二、核心代码

1、pom.xml

2、application.properties

3、UserController

三、测试验证

1、读数据

2、写数据

参考

2.为 mysql-master 授权用户来同步数据