JFlink+TiDB｜从一个累加的故事说起～～～

Posted 2021-08-21 zhisheng_blog

摘要：Jflink On TiDB--便捷可靠的实时数据业务支撑，分享大纲如下：

1. 从一个实时累加值的故事说起

2. JFlink实时数据业务解决方案
   

3. Flink的准确保证

4. Flink with TiDB
   

5. JFlink on TiDB实时数据业务支持

什么是 JFlink？

多种内置 SDK：Redis、ES、TiDB、HTTP、gRPC

Flink 的 Checkpoint 机制能够保证数据处理的 Exactly Once，在异常故障会有失败重试机制，并且状态能够恢复，从而保证数据处理的准确性。

保证端到端的 Exactly Once 靠的是 2PC（两阶段提交，参见 TwoPhaseCommitSinkFunction 类）

并不是所有的 Sink 都支持 2PC 协议

• 海量业务日志数据的实时格式化入库

• 基于海量数据的分析统计

• 实时TiDB/Kafka双流连接的支付链路分析

• 对通数据地图

• 时序数据

end

Flink 从入门到精通 系列文章
基于 Apache Flink 的实时监控告警系统关于数据中台的深度思考与总结（干干货）日志收集Agent，阴暗潮湿的地底世界

公众号(zhisheng)里回复 面经、ClickHouse、ES、Flink、 Spring、Java、Kafka、监控 等关键字可以查看更多关键字对应的文章。

点个赞+在看，少个 bug ????