Flink 利用 Checkpoint 实现故障恢复

Posted @SmartSi

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink 利用 Checkpoint 实现故障恢复相关的知识,希望对你有一定的参考价值。

传送门:Flink 系统性学习笔记


Flink 1.13.5 版本

在本节中,我们将介绍 Flink 如何利用检查点 Checkpoint 实现故障恢复。

1. 配置

如果我们的任务已经执行很长时间,突然遇到故障停止,那么中间过程处理结果就会全部丢失,重启后如果需要重新从上线开始的位置消费,那么会花费我们很长的时间。这种结局显示我们不能接受,我们希望的是作业在故障失败重启后能保留之前的状态并能从失败的位置继续消费。这就需要 Flink 利用检查点 Checkpoint 实现故障恢复并保证精确一次 Exactly-Once 语义的一致性状态。可以通过如下配置设置 Checkpoint:

final StreamExecutionEnvironment env = StreamExecutionEnvironment.

以上是关于Flink 利用 Checkpoint 实现故障恢复的主要内容,如果未能解决你的问题,请参考以下文章

Flink Checkpoint机制分析

Flink Checkpoint机制分析

Flink从入门到精通100篇(二十三)-Flink实战应用案例:如何清理过期的 Checkpoint 目录?

关闭 Flink Checkpoint,引发 P3 故障

关闭 Flink Checkpoint,引发 P3 故障

Flink Checkpoint 机制详解