非你想的那个 CDC,实为我这个 CDC 也

Posted DataFlow范式

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了非你想的那个 CDC,实为我这个 CDC 也相关的知识,希望对你有一定的参考价值。

背景

CDC,Change Data Capture,直译为变更数据捕获,反正能理解就对了。

答案在哪里

你是否在调研数据库数据实时复制方面,遇到以下问题:

  • 基于 binlog(transaction log)事件流

  • 一款支持多种主流数据库复制的产品,包括 mysql、PostgreSQL、SQL Server、Oracle、Cassandra 等

  • 基于分布式流处理平台,比如基于 Kafka(或 Pulsar),可以利用 Kafka Connector 功能,这样方便数据复制到很多你想要的地方

  • 最好大公司开源,社区活跃,版本更新快

那么,答案来了,就是地摊经济。

哦,No,纠正一下,是 Debezium。

此 CDC 非彼 CDC

或许大家都使用过 canal,当然也可能使用 maxwell,笔者后续文章还会介绍 Netflix DBLog,在生产实践方面的功能非常强大。

无论是 canal 还是 maxwell,都死磕 MySQL,当然他们也很优秀,但是笔者不聊它们。

今天,笔者介绍一款专注于 CDC 的产品,Debezium。

接触过 CDC 的读者,不清

以上是关于非你想的那个 CDC,实为我这个 CDC 也的主要内容,如果未能解决你的问题,请参考以下文章

非你想的那个 CDC,实为我这个 CDC 也

非你所想Scala@我不是你想的那样的匿名函数

非你所想Scala@我不是你想的那样的匿名函数

STM32 双 CDC (VCP) 类

STM32 USB CDC Rx 中断

在 CDC 设备 j2me 上播放音频