Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

Posted 2022-10-05 勇敢羊羊在飞奔

Flink系列之：基于Flink CDC2.0实现海量数据的实时同步和转换

• 一、CDC技术
• 二、Flink CDC技术
• 三、传统数据集成方案的痛点
• • 1.传统数据入仓架构1.0
  • 2.传统数据入仓架构2.0
  • 3.传统CDC ETL分析
• 四、基于Flink CDC的海量数据的实时同步和转换
• • 1.Flink CDC增量快照读取算法
  • 2.flink CDC存储友好的写入设计
  • 3.Flink CDC入湖架构
  • 4.Flink CDC ETL分析
  • 5.强大的transformation能力
  • 6.Flink CDC实现异构数据源集成
  • 7.Flink CDC实现分库分表集成

一、CDC技术

从原理上可以分为两大类：

• 基于查询的CDC：例如DataX