SymmetricDS是如何工作的

Posted 2020-10-31 安静的下雪天

2018-04-20  by 安静的下雪天  http://www.cnblogs.com/quiet-snowy-day/p/8890785.html 

 

本文翻译自SymmetricDS官方文档  How SymmetricDS Works  

 Published: Saturday, 15 September 2012 00:00

 Written by Eric Long

 

SymmetricDS 是开源的数据库复制服务器，通过捕捉、路由、批处理数据处理以实现多个数据库之间的同步。配置和运行时的信息使用数据库模型存储，为各种操作提供了一致的、可访问的视角。让我们来快速浏览一下，在概念上从安装到同步SymmetricDS是如何工作的。

 

Configuring Synchronization

配置数据模型是一组表，用户在其中描述节点网络，数据同步以及如何传输数据。节点是连接到数据库的SymmetricDS实例。每个节点在SYM_NODE表中都有一条记录，其中有一个系统使用的唯一内部节点ID，和一个供用户使用的外部节点ID。由于系统中的许多节点都具有共同特征，因此通过SYM_NODE_GROUP表会给每个节点都分配一个节点组。为了把节点连接在一起来同步数据，使用SYM_NODE_GROUP_LINK表中的一条记录将他们联系起来。该连接可以被指定为“push”即源节点发送自己的变更，也可以指定为“pull”即目标轮询源节点的变更。

      数据的同步开始于逻辑触发器，它可以捕获对表的insert、update、delete操作。用户指定源表名称及其所在的目录和架构中的位置。可以使用通配符来匹配多个表，而不是分别录入每个表。如果不需要所有的列，可以创建一个列表记录被排除的列，即创建一个垂直子集。配置一个逻辑触发器将使SymmetricDS服务器在数据库的表上创建一个物理触发器。

      获取数据到目标节点叫做路由，这是路由器的职责。最简单的是默认路由器，它将发送数据到所有节点。列匹配路由器可以在发送数据到节点之前在列中查找特殊值。它会等待外部节点ID出现在某一列中，在将它发送到该节点之前。其他路由器可以查询数据库，或者执行自定义脚本，以确定数据将会被发送到哪里。路由器与触发器想关联，它提供了创建水平子集的能力。

 

Change Data Capture

定义逻辑出发器会导致数据库触发器被置于表上，从而捕获数据到SYM_DATA表中。该表中被捕获的变更数据，使得SymmetricDS保证了传输数据的顺序和原子性，这意味着数据在目标节点上会被正确的回放他是如何被记录的。一个条目记录了唯一数据ID序列号，事件类型（insert、update、delete），事务ID，以及变更数据。事务ID作为本次事务的一部分被数据提交共同使用。为了适应不同的表，变更数据被存储为CSV格式。插入事件只记录新的数据行，删除事件记录旧的数据行连同使用的主键，更新事件记录新的数据行，旧的数据行，以及用到的主键。

 

 Change Data Capture

译者注：上图 SYM_DATA表第1,2两条记录有相同的事务ID，说明这次事务包含两个表的数据处理事件。两个表的数据提交都使用了该事务ID。第3条记录表示更新处理，以CSV的格式记录了新数据，旧数据，以及主键。第4条记录表示删除处理，只记录旧数据和主键。

 

Routing and Batching

路由作业在后台定期执行，把变更聚集到批处理中，并分配到要交付的目标节点。变更的数据通过已配置的路由器来决定哪些节点将接收数据。如果使用的是默认路由器，数据会被分配到所有节点并且给出相同的批号。否则，每个节点将获取自己的批号，以便数据路由到它。数据将会被分配到同一批次处理直到达到最大批处理大小。如果用户配置了事务批处理算法，当有更多包含相同事务ID的数据的时候，批处理会扩大。数据到批处理的指派连同确定指派的路由器ID，记录在SYM_DATA_EVENT表中。批处理到节点的指派记录在SYM_OUTGOING_BATCH表中。

 

 

Syncing Data

在配置中关联到一起的节点，使用被指定的“push”或“pull”动作来同步它们的数据。Push是指一个节点连接到另一个节点并推送自己的变更，而pull是指一个节点等待其他节点的连接并接收它们的变更。每个动作都是在一定的时间间隔内执行，但是push动作只在有变更要发送的时候连接到网络，而pull动作是一直保持连接来确认是否有等待处理的变更。Pull处理是很有用的，当连接的节点处于防火墙之后，只允许传出连接而不是传入的连接。

   

批处理的状态记录在两端，源端记录在SYM_OUTGOING_BATCH表中，目标端记录在SYM_INCOMING_BATCH表中。批处理状态记录在两方的数据库中，使得数据复制的问题更容易查找，不管你使用的是哪种系统。带有中心节点并且使用远程节点发送和接收变更的网络，对于网络中任何数据复制的错误，从中心位置查找更加有利。