ElasticSearch实战（四十六）-数据实时同步技术选型

Posted 2021-10-11 张志翔ۤ

        本文中讲的几个技术栈都是基于一个叫做 CDC（Change Data Capture）的理论衍生出来的，CDC大概可以机翻为 “变动数据捕获”，你可以将它视为和数据库有关的架构设计模式的一种。它的核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入，更新，删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。

 

        我们可以把 CDC 认为是数据库事件驱动的一种数据 / 信息分发系统，CDC 主要适用于以下的场景：

        1、异构数据库之间的数据同步或备份 / 建立数据分析计算平台

        在 mysql，PostgreSQL，MongoDB 等等数据库之间互相同步数据，或者把这些数据库的数据同步到 Elasticsearch 里以供全文搜索，当然也可以基于 CDC 对数据库进行备份。而数据分析系统可以通过订阅感兴趣的数据表的变更，来获取所需要的分析数据进行处理，不需要把分析流程嵌入到已有系统中，以实现解耦。

        2、微服务之间共享数据状态

        在微服务大行其道的今日，微服务之间信息共享一直比较复杂，CDC 也是一种可能的解决方案，微服务可以通过 CDC 来获取其他微服务数据库的变更，从而获取数据的状态更新，执行自己相应的逻辑。