Bireme：一个 Greenplum数据仓库的增量同步工具

Posted 2021-01-22 kuang17

https://hashdatainc.github.io/bireme/

 

Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 mysql、PostgreSQL 和 MongoDB 数据源。

Greenplum 是一个高级，功能齐全的开源数据仓库，为PB级数据量提供强大而快速的分析。它独特地面向大数据分析，由世界上最先进的基于成本的查询优化器提供支持，可在大数据量上提供高分析查询性能。

HashData 则是基于 Greenplum 构建弹性的云端数据仓库。

Bireme 采用 DELETE + COPY 的方式，将数据源的修改记录同步到 Greenplum / HashData ，相较于INSERT + UPDATE + DELETE的方式，COPY 方式速度更快，性能更优。

Bireme 特性与约束：

• 采用小批量加载的方式提升数据同步的性能，默认加载延迟时间为10秒钟。
• 所有表在目标数据库中必须有主键

 

 

这里也介绍了其他两个工具：

Debezium

maxwell