ElasticSearch实战（四十二）-数据离线同步技术选型

Posted 2021-11-03 张志翔ۤ

        平时工作中，需要把存储在三方存储系统中的数据同步到 ElasticSearch 中，比如 mysql/PostgreSQL/Cassandra/HBase 将数据离线同步到ElasticSearch中，他们中间的数据传输需要通过三方中间件，这边数据离线同步有以下两种方案：

        方案一：直接查询写入

        这种方式是场景最简单的离线数据同步，数据从A库到B库，中间仅仅经过同步工具，同步工具做查询操作，然后同步工具再把查询出的数据写入B库，这种业务场景实现只需要基于普通的同步工具即可，图示如下：

        方案二：间接查询写入

        这种方式是工作中最常用的一种数据清洗方式，数据从A库到B库，中间要经历多次关联计算。首先同步工具查询数据，抽离数据，然后中间环节进行计算、关联计算，最后同步工具写入数据，写入到索引，图示如下：