非你想的那个 CDC,实为我这个 CDC 也
Posted DataFlow范式
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了非你想的那个 CDC,实为我这个 CDC 也相关的知识,希望对你有一定的参考价值。
背景
CDC,Change Data Capture,直译为变更数据捕获,反正能理解就对了。
答案在哪里
你是否在调研数据库数据实时复制方面,遇到以下问题:
基于 binlog(transaction log)事件流
一款支持多种主流数据库复制的产品,包括 mysql、PostgreSQL、SQL Server、Oracle、Cassandra 等
基于分布式流处理平台,比如基于 Kafka(或 Pulsar),可以利用 Kafka Connector 功能,这样方便数据复制到很多你想要的地方
最好大公司开源,社区活跃,版本更新快
那么,答案来了,就是地摊经济。
哦,No,纠正一下,是 Debezium。
此 CDC 非彼 CDC
或许大家都使用过 canal,当然也可能使用 maxwell,笔者后续文章还会介绍 Netflix DBLog,在生产实践方面的功能非常强大。
无论是 canal 还是 maxwell,都死磕 MySQL,当然他们也很优秀,但是笔者不聊它们。
今天,笔者介绍一款专注于 CDC 的产品,Debezium。
接触过 CDC 的读者,不清
以上是关于非你想的那个 CDC,实为我这个 CDC 也的主要内容,如果未能解决你的问题,请参考以下文章