[java实时同步数据库]一种通用的数据库同步系统与实现技术方案

Posted 2021-02-28 sqlserver-mysql

本发明专利技术是一种通用的数据库复制框架技术。该技术分为三个模块，捕捉模块用于捕捉抓取数据库的数据变化；数据过滤模块对从捕捉模块获取到的数据进行过滤、分拣、汇总；数据同步模块，将数据过滤模块产生的数据发送的目标端数据库。

Theinventionisageneraldatabasereplicationframeworktechnology.Thistechnologyisdividedintothreemodules,capturemoduleisusedtocapturethechangedatacapturedatabase;datafilteringmoduletogetfromcapturemoduledatafiltering,sorting,summary;datasynchronizationmodule,databasedatasendingendtargetdatafilteringmodulegeneratesthe.

全部详细技术资料下载

【技术实现步骤摘要】

一种通用的数据库同步系统与实现

本专利技术从属于数据库同步

，特别是关系型数据库应用领域。技术背景出于系统安全性的考虑，数据库系统通常都会采用备份或者容灾策略，以供在生产数据库因为各种原因出现异常不能正常提供服务时自动接管业务，继续对外提供正常服务。目前业界的数据库同步工具已经有很多，基本都是由日志监控模块、同步配置模块和日志重做模块组成，实现机制大都是根据数据库提供的日志访问接口，从日志中提取出对数据库进行操作的修改语句，然后将提取出的语句施加到备用库中进行动作重放，从而达到主库和备用库数据一致的目的。目前主流同步工具的实现方式从一定程度上解决了数据库数据同步的问题，但不同数据库的日志格式、类型各不相同，所以数据同步解决方案都和具体数据库密切关联，一旦出现新类型的数据库，或者现有数据库的日志格式、类型发生变化，都会导致数据同步工具无法正常工作，导致备用库的数据无法及时得到同步，起不到应有的备库作用。本专利技术针对上述数据库同步工具的困境，从通用性的角度入手提出了解决思路。本专利技术不涉及现有生产程序的改造，通过在生产数据库增加通用数据变化捕捉模块的做法获取到针对数据库发起的修改操作，通过该捕获模块就可以获取到所有的数据库操作，从而达到数据同步解决方案通用、稳定的目的。目前尚未检索到与本专利技术相同的解决方案及系统实现。

技术实现思路

本专利技术包含三部分，一是在生产数据库中增加的捕捉模块，该模块采用数据库支持的通用方式进行日志捕捉，可以采用触发器或者数据库审计日志等通用方式，对这些方式的支持是商用数据库的基本要求，并且须符合通用的SQL标准，这种采用从SQL标准入手捕捉变化操作的方式独立于具体数据库，达到了通用的目的；二是数据过滤模块，该模块是可选项，可以对从捕捉模块获取到的数据做过滤、分拣、汇总等数据的二次加工；三是数据同步模块，将数据过滤模块产生的数据发送的目标端执行，最终达到数据同步的目的。本专利技术中提及的数据库同步系统的主要功能特点是：(1)、采用从SQL标准着手捕捉原始数据的方式，可以满足数据库同步解决方案的通用性要求，不会因为新型数据库的出现或者现有商用数据库日志格式、类型变化导致同步工具不可用的问题，该问题是目前市面上大多数同步工具普遍面临的问题。(2)、可选的数据过滤模块，支持对原始修改操作的二次加工，功能支持范围更广。附图说明图1是本专利技术示意图。具体实施方式本专利技术所述系统的基本框可见附图1：图中各模块功能介绍如下：◆101是数据捕捉模块，主要完成源数据库的修改操作捕捉功能。具体功能是通过商用数据库通用接口访问方式获取对数据库的修改操作，该模块部署在源数据库中，且为独立模块，不涉及现有生产模块的配合改动。数据捕捉模块的实现基于数据库通用接口，包括但不限于如触发器、数据库审计等功能，该模块的产出形式自由，可以是保存在数据库中，也可以是文件等方式。◆102是数据加工模块，该模块是可选模块。该模块的主要功能是支持将101模块的产出进行二次加工，包括但不限于数据过滤、数据分拣、数据分发、数据汇总统计等功能。◆103是数据同步模块，用来执行数据加工模块转发过来的同步操作命令，从而达到备用数据库数据按要求同步的目的。备用数据库个数、类型不受限制，支持多个备用数据库，也支持异构数据库。综上所述：本专利技术提出了一种通用的数据库同步系统的实施方案，并且通过本方案，可以在不需要生产程序修改的基础上，独立部署数据同步模块，达到数据同步的目的；同时，基于数据库通用接口的方式捕获数据库的修改操作，使得本同步系统支持同步的范围更广，与基于日志挖掘的同步系统相比，有独特的兼容性优势，不受数据库厂家独特实现的限制，是一项极具特色的亮点功能，对数据库同步系统产品市场起到很大的完善作用。本文档来自技高网...

【技术保护点】

一种通用的数据库复制技术框架。该框架分为变化捕捉模块，数据过滤模块和数据同步模块三个部分。

【技术特征摘要】

1.一种通用的数据库复制技术框架。该框架分为变化捕捉模块，数据过滤模块和数据同步模块三个部分。2.变化捕捉模块采用...

【专利技术属性】

技术研发人员：季峰，

申请(专利权)人：季峰，韦伟，

类型：发明

国别省市：江苏,32

全部详细技术资料下载我是这个专利的主人