从原理到实践：Oracle 12.2 Sharding技术揭秘

Posted 2021-05-01 数据和云

何剑敏 Oracle ACS华南区售后团队，首席技术工程师

曾供职于中国联通信息计费部、卓望数码，系统支撑部首席DBA，负责中国移动全网梦网业务和移动应用商城数据库维护。后供职于IBM，负责米其林项目和澳洲电信（Telstra）项目数据库管理。现供职于Oracle ACS华南区售后团队，首席技术工程师。多年从事第一线的数据库运维工作，有丰富项目经验、维护经验和调优经验，专注于数据库的整体运维。

编辑说明：感谢何剑敏撰写了关于Sharding的相关文章，并授权我们分享给大家。根据我们的理解对他的文章顺序做了调整整合，以便于大家理解阅读。

1

Oracle 12.2的重磅特性及发布时间

2016年2月，Oracle出了12.2的beta2版本，并且在4月更新了相关文档，如Concepts，Administrator’s Guide，Global Data Services Concepts and Administration Guide等等。这个版本的文档，比之前2015年10月底文档要好很多，许多概念，演示demo，操作步骤都得到了很好的说明。据信。在12.2中Sharding特性受到了广泛的关注，本文着重讲述这一特性的使用和构建。

2

三言两语说透Oracle的Sharding技术

爱因斯坦说过，如果你不能用简单的语言解释某个东西，你就不是真正的理解这个东西。通过这几天的实验和学习，我尽量用简单的语言来给大家描述下什么是Oracle的sharding。

Sharding，中文名叫数据分片，是对数据进行横向扩展的一种方式。数据量增加，我可以通过加一台机器，来扩展其容纳能力和处理能力。

Sharding其实需要解决三个问题：一、数据的路由，二、数据的分片，三、分片的元数据信息保存。

1.数据路由是数据库告诉应用程序，你让我查的数据目前在哪个分片上，这条路怎么走过去。
2.数据分片就是实际数据的存放地点，往往每个分片就是一台单独的服务器（含存储）。
3.由于分片的数据实际是被切割放在不同的机器上，那么需要有个集中的地点存放数据分片的信息，即分片元数据的信息。


应用问路由怎么走，路由去查询元数据得知需要的数据在哪个分片上，最终应用访问到该分片上。

最著名的sharding database就是mongoDB了。mongoDB的sharding功能的架构也是为了解决上面的三个问题，MongoDB有路由服务器（Router）解决路由问题，分片服务器（Shard）存储实际数据（可能还有副本和仲裁），以及配置服务器（Config Server）存放分片元数据。

》》延伸阅读：

那么，对应在Oracle12.2的 Sharding DB 上，就是GDS框架（GSM，shard directors），shard node，和shardcat数据库。

所以，到这里你就可以比较清楚的了解了oracle 12.2的sharding功能其实就是3个模块。顺便说一下，MonogoDB支持多个副本和仲裁，oracle的adg也同样支持一主多备，由FSFO进行管理。

3

小荷谈Sharding体验

下面，再谈一下我个人对sharding架构的一些看法。

• Shardcat是非常重要的一个模块，上面不仅仅有分片的元数据信息，还有duplicated table的master table信息，另外，当进行cross shard query的时候，他还起着coordinator database的作用。所以建议对这个部分搭建RAC+adg架构，避免shardcat的单点故障。

• shard node，单个shard node的失效，将导致整个表的不可用。所以我们也要对shard node建立高可用的副本，这里可以用ADG或者OGG的技术。

• 既然做sharding，又要在做HA，那么就变成了堆机器，堆存储的方式了。我们假设在一个10个shard node的环境，需要多少台机器：一个shardcate，做rac+adg，那么最少就是3台；10个shard node，如果都有adg，那么最少就是20台。那么当前这个环境，就至少要23台机器了。

• Sharding架构极其考验对应用的熟悉程度，需要配合应用进行合理的分区和分片。另外，如sharding key必须建索引，sharding的方式可以有一致性hash，让数据均匀分布，也还是可以是range或者list分区，或者hash-range，hash-list的子分区。分片和分区方式需要结合业务，有些场景需要相关数据都在一个分区，避免cross shard join，有些场景需要均匀分片，禁止集中分片，导致热块数据都在一个分片上（如序列增长，做range分区，热点数据将会都在一个分片上）。

• 事实表和维度表，似乎可以很好的利用sharding功能。维度表做duplicated table，而事实表做sharded table。

4

从安装部署到体验

（一）安装介质：

1. 你需要12.2的database的安装介质（两个zip压缩包）来安装db软件，用于shardcat数据库，和shard node主机上的数据库。
2. 你还需要12.2的gsm安装介质（一个压缩包）来安装GDS框架和gsm服务。这是安装在shardcat主机上的。
3. 你还需要12.2.的client安装介质（一个压缩包）来装scheagent，这是安装在shard node主机上的。安装schagent是为了在shardcat主机上发起命令，在远程的shard node上，通过agent调起来netca和dbca来安装监听和数据库。另外，如果shard node有active dataguard，agent也会自动帮你配好dataguard，配好broker和FSFO。

（二）HIGH LEVEL安装步骤:

1.Oracle Sharding Prerequisites
2.Setting Up the Oracle Sharding Host Environment Scripts
3.Installing Oracle Database
4.Installing the Shard Director Software
5.Creating the Shard Catalog Database
6.Setting Up the Oracle Sharding Management and Routing Tier
7.Deploying and Managing a System-Managed SDB

（三）详细安装步骤：

1.Oracle Sharding Prerequisites

12.2企业版 non-cdb
使用文件系统而非ASM （12.2 Beta要求，正式发行后，可能会改）
主机hosts文件写上本机和各个shard node的IP解析
机器必须全新，不能残留之前有安装过oracle的信息。

2.Setting Up the Oracle Sharding Host Environment Scripts

目的是因为shardcat和gds都安装在一个主机上，同一个oracle用户，不同ORACLE_HOME，所以建立环境变量的脚本，会比较容易在database环境和gsm环境之间切换。
admin guide上是用shardcat.sh，shard-director1.sh脚本，但是我的可能更简单实用，直接定义成alias。（这种方法其实是跟ORACLE BASE学的。老DBA应该都听说过这个网站。）
##修改环境变量，在环境变量中设置2个alias别名

3.Installing Oracle Database

安装db软件，解开2个压缩包，加载一下上面建好的db_env环境变量，开始跑runInstaller，选择software only，没啥好说的。注意ORACLE_HOME的路径和环境变量中定义的DB的ORACLE_HOME一致。
在shardcat主机和shard node主机，都需要安装好db软件。

4.Installing the Shard Director Software

安装gds框架和gsm服务，解开gsm的压缩包，加载一下上面建好的gsm_env环境变量开始跑runInstaller，注意选择不同与DB的ORACLE_HOME，注意ORACLE_HOME的路径和环境变量中定义的gsm的ORACLE_HOME一致。
本文中gds安装在和shardcat同一个主机上。即shardcat和shard Director在同一主机。（其实，如果有需要，也可以不同主机的）

4.b. Installer schagent in all shard node（admin guide文档没写这步骤，本人免费赠送）

选择client安装包，解压缩后，运行runInstaller，在每个shard node上建立agent

5.Creating the Shard Catalog Database

运行dbca开始建立数据库实例，这个实例是放分片数据的元数据的。我们把这个实例名叫shardcat。
安装好后，再建立listener。以便可以连接这个数据库。

6.Setting Up the Oracle Sharding Management and Routing Tier

7.Deploying and Managing a System-Managed SDB
我们开始部署，以最简单的System-Managed SDB为例。
另外，admin guide中介绍的是4台主机做shard node，其中每2台互为dataguard主备。我们这边为了节约空间和资源，不搞dataguard了，只建立primary库。因此只要2台主机做shard node。

此时，就开始部署shard了。在shard node上的agent会自动的调用netca和dbca，创建listener和database，2个shard node的操作是并行进行的。（如果是有datauard，那么是先建立一对主备，再建立另一对主备。）你可以在分别是两个shard node上ps -ef|grep ora_ 看到已经有sh1和sh2的实例了。

等deploy完，我们可以检查一下shard的情况了：

建立service：

（四）建立应用用户，利用应用用户建立sharded table和duplicated table：

利用应用用户登录，创建sharded table和duplicated table

如何加入"云和恩墨大讲堂"微信群

近期文章

资源下载

关注本微信（OraNews）回复关键字获取

2016YHEMSZ ,云和恩墨大讲堂深圳交流会；

DBALife,"DBA的一天"精品海报大图；

12cArch,“Oracle 12c体系结构”精品海报；

DBA01，《Oracle DBA手记》第一本下载；

YunHe，“云和恩墨大讲堂”案例文档下载；