惊喜与局限并存——来自12C sharding 内测用户“三墩IT人”的预研分享

Posted 2021-05-01 三墩IT人

2017年3月，我们终于迎来了Oracle 12cR2，浙江移动作为国内首批Beta测试用户，我们在2016年1月应邀进行Oracle 12c Sharding 技术测试，并于去年10月完成了12cR2 Sharding 预研报告。由于受Oracle新技术发布限制，我们直至今日才发布与各位分享。

一

Oracle 12c Sharding 简介

在Oracle 12cR2之前的版本中， Oracle分区表的所有的分区都是在一套数据库中，而Sharding技术，则是使用新的分片技术可以将不同的分区部署到不同的数据库（后面称之为分片节点），而这些数据库都是相互独立且没有地理位置的限制。Oracle 宣称这种分片架构具有以下特性：

• 支持数据水平分片，支持数据海量扩展

• 支持按地理分布、内网部署、公有云或混合云部署方案

• 支持全面故障隔离

• 每个分片节点具有独立的硬件资源(CPU、内存、硬盘等)

• 支持弹性扩展和自动重分布（Auto Rebalancing）

• 自动部署（Auto deployment）

二

Oracle 12c Sharding 体系结构

Oracle sharding技术下的sdb架构（shared database architecture）,包括：shard Directors（分片路由器GSM）、shard catalog（分片目录库）、shardgroup（分片组）。

1. shard catalog目录库主要作用

• 存储sdb的元数据

• 协调数据库

• 分片表的元数据定义和复制表存储

2. Shard director分片导向器主要作用

• 提供从应用层到分片连接请求的路由导向

• 跨数据库服务故障切换和管理

• 连接时负载均衡

3. Oracle Routing（两种模式）

• session-based Routing

• 所有的事务都只连接到一个单一的shard进行操作。

• Cross-shard 模式

• 适用于报表类的查询

• 事务需要跨多个shard执行操作

4. Sdb模式下oracle的连接请求方式分为两种

（1） ucp：带shard key的连接请求，sdb数据库是依据shard key来划分shard的，当我们使用shard key进行操作的时候，连接池会将该链接请求发送到正确的shard库中并建立链接。

（2） 如果没有sharding key，sdb会将连接请求交给catalog库，它会将目标sql解析并路由请求到正确的shard库。

三

Oracle 12c Sharding 测试环境搭建部署步骤

环境准备：测试环境使用三台虚拟机进行测试，分别为:

shard0(GSM和shardcate)，shard1（sh1），shard2（sh2）

软件要求：12.2.0.0.3及以上版本

1. GSM软件部署

第一步修改环境变量如下：

[oracle@shard0 ~]$ env |grep ORA ORACLE_BASE=/u01/app/oracle ORACLE_HOME=/u01/app/oracle/product/12.2.0/gsmhome_1

第二步解压缩GSM.zip包并且执行runInstaller脚本（这里使用了图形化界面）

直接点下一步（检查操作系统是否符合安装条件）：

点next下一步：

点击install，这样GSM包就安装完成了。

后续的数据库软件安装就不展开介绍了，选择NO-CDB选项即可。其他均与之前版本没有任何区别。

2. shardcate库上用户及相关权限操作

ssh shard0 su – oracle sqlplus / as sysdba alter user gsmcatuser account unlock; --解锁gsm用户 alter user gsmcatuser identified by passwd_gsmcatuser; --修改gsm用户密码 create user mygdsadmin identified by passwd_mygdsadmin; --创建管理用户mygdsadmin grant connect, create session to mygdsadmin;--赋权限给mygdsadmin grant gsmadmin_role to mygdsadmin;--把gsm管理员角色赋予mygdsadmin grant inherit privileges on user SYS to GSMADMIN_INTERNAL;

3. shardcate上配置remote scheduler

ssh shard0 su - oralce sqlplus / as sysdba set echo on set termout on set time on spool /u01/stage/labs/config_remote_scheduler.lst  --设置配置输出的日志 execute dbms_xdb.sethttpport(8080);--指定scheduler所使用的端口号 Commit; @?/rdbms/admin/prvtrsch.plb exec DBMS_SCHEDULER.SET_AGENT_REGISTRATION_PASS('welcome');  --设置远程shard节点注册到shardcate库所需的密码              spool off

4. 分片库信息注册

ssh shard1 su – oracle schagent –stop --停止shard库上的守护进程 schagent –start --停止shard库上的守护进程 schagent –status –查看shard库上的守护进程的状态 echo welcome |schagent -registerdatabase shard0 8080 –注册到远程shardcate库分别是密码、主机名、端口号 cd /data/oracle mkdir oradata –创建shard库的数据文件存放位置 mkdir fast_recovery_area --创建shard库的快速恢复区的位置

ssh shard2 su – oracle schagent -stop schagent -start schagent -status echo welcome |schagent -registerdatabase shard0 8080 cd /data/oracle mkdir oradata mkdir fast_recovery_area

5. 配置GSM

ssh shard0 su – oracle    --oracle用户 gdsctl  --进入gsm交互界面 create shardcatalog -database shard0:1521:orcl -chunks 12 -user mygdsadmin/passwd_mygdsadmin -sdb cust_sdb -region region1 --创建shardcatalog库 –database ip(主机名)：监听端口号：实例名 –chunks chunk的数量 -user 用户/密码 –sdb sdb名 –region  主端，备端 add gsm -gsm sharddirector1 -listener 1571 -pwd passwd_gsmcatuser -catalog shard0:1521:orcl –region -trace_level 16 --添加gsm –gsm gsm名 –listener 监听端口号 –pwd gsmcatuser用户密码 –catalog catalog库基本信息 ip(主机名)：监听端口号：实例名 –region 指定是哪个region –trace_level 指定trace的级别位置LOG_DESTINATION参数控制 start gsm -gsm sharddirector1 –启动gsm set _event 17 modify catalog -agent_password welcome –修改 catalog库守护进程密码为welcome add credential -credential oracle_cred -osaccount oracle -ospassword oracle -- specify the operating system user that the extproc agent impersonates when running a subprogram stored in the library ssh shard0 su – oracle gdsctl –进入gsm命令交互模式 set gsm -gsm sharddirector1 –设置当前分片目录为sharddirector1 connect mygdsadmin/passwd_mygdsadmin –建立连接 add shardgroup -shardgroup shgrp1 -deploy_as primary -region region1 –添加主分片组 add invitednode shard1 create shard -shardgroup shgrp1  -destination  shard1 -credential oracle_cred –-不同的shard库添加到不同的分片组里 add invitednode shard2 create shard -shardgroup shgrp2  -destination shard2 -credential oracle_cred –-不同的shard库添加到不同的分片组里 deploy 一键部署。

此时一套测试的sdb搭建成功，由于环境有限这里没有做容灾，oracle提供了ogg和adg两种方式对shard节点做容灾并且也支持一键部署。

四

Sharding 适用场景限制

根据Oracle官方对sharding的应用场景介绍描述，Oracle 分片技术主要适用以下场景

• 面向 OLTP 应用场景

• 为了优化性能应用程序应该使用分片键

• 业务场景中 80% 的事务都基于单个分片操作

• 跨分片操作目前版本支持并不完善

对于已知的分片技术使用场景限制，结合浙江移动的业务特点，最后选择客户中心做为本次的测试模型，由于存储资源有限我们选择了数据量相对较小的湖州地市作为测试地市。

五

Sharding 测试模型和测试结果

客户中心业务简介：

1. 客户中心储存的数据来源于原CRM系统中的三户信息和用户订购信息，承载的是客户管理业务；

2. 三户信息的核心是用户信息表，其中用户信息表的业务入口是bbb_id，在获取bbb_id和uuu_id的对应关系后，后续都是以uuu_id为主，查询到相应的uuu_id对应的ccc_id/aaa_id的信息，再根据ccc_id和aaa_id的值去查询对应的客户和帐户信息，而用户的订购信息都是根据uuu_id来查询的；

3. 对所有前台或用户发起的针对单用户的业务中，基本能保证这些业务都是在同一个分片内操作；

4. 用户信息会随着系统承载的用户量的增加有所增长，但这种增长的速度不是海量的扩展速度。

测试结果：所有的业务操作大致可以分为以下这三类:

1. 单分片查询

2. duplicate表查询

3. 跨分片查询。

针对基于单分片的分片表查询，相比于传统的数据库查询速度提升不明显，因为uuu_id列本身加了索引查询速度已经够快了。但是当时数据库的压力提升以后，多个分片节点的sdb带来的优势预计会有一定的体现，因为所有的数据库操作被均匀的负载到多台物理主机上面，由于硬件限制我们没有做性能测试，对于duplicate表的查询本身设计就是从catalog库上通过物化视图到各个shard库里所以对查询的速度提升没有实质的提升作用。最后的跨分片查询我们在测试过程中发现oracle不支持where条件用in或者or，我们大部分的应用都会用到这种条件的查询，所以跨分片的查询目前版本支持并不完善。

六

Sharding 测试过程中的问题解决

1. 环境部署：

（1）软件的版本需要12.2.0.0.3及以上的版本

（2）在配置GSM的时候报错信息不会很直观的展示出来，这对于安装部署有很大阻碍。

2. 数据导入：

（1）Duplicate表的数据导入是从catalog库导入，分片表的导入可以从各个shard库导入进去（由于环境有限暂时12.2.0.0.3从catalog库导入还未来得及测试）。

（2）12.2.0.0.3版本以前分片表直接从catalog库导入会报ora-600错误，而且这些错误也没有相应的psu修复。

（3）通过dblink用create table as select的方式创建会报不支持的操作类型的错误。

3. 业务测试：

（1）跨分片查询在 12.2.0.0.3版本支持并不完善，例如用in或者or 的查询oracle会直接报错。我们已将改进建议提给Oracle，可能会在正式发布版本中得到解决。

（2）所有的连接都经过catalog库，当连接请求并发上去后catalog将成为瓶颈，需创建多个 catalog 库分担压力。

（3）同一schema下的各个分片表必须要有主外键关系。

---