FLinkFlink checkpoint 实现数据连续计算 恢复机制 拓扑图 变化 如何处理

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FLinkFlink checkpoint 实现数据连续计算 恢复机制 拓扑图 变化 如何处理相关的知识,希望对你有一定的参考价值。

1.概述

本博客是视频:Apache Flink 知其然,知其所以然(原理&实战) 的笔记。

改部分主要讲解了,当流任务失败后恢复,拓扑图改变了,这种情况下该怎么恢复checkpoint。


看到这个图,可以看到数据2个sink变成了一个。

2. 案例

2.1 普通业务

1.修改flink配置,实现本地集群,配置好检查点等信息,代码如下

以上是关于FLinkFlink checkpoint 实现数据连续计算 恢复机制 拓扑图 变化 如何处理的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFlink 监控 Checkpoint

FlinkFlink checkpoint 本地磁盘 没有清除

FlinkFlink 清理过期 Checkpoint 目录的正确姿势

FlinkFlink Checkpoint 问题排查实用指南

FlinkFlink 反压机制 导致checkpoint 失败

FlinkFlink 新一代流计算和容错 Unaligned Checkpoint快速Checkpoint更小的Checkpoint