FLinkFlink checkpoint 实现数据连续计算 恢复机制 案例实战

Posted 九师兄

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了FLinkFlink checkpoint 实现数据连续计算 恢复机制 案例实战相关的知识,希望对你有一定的参考价值。

1.概述

本博客是视频:https://www.bilibili.com/video/BV1yk4y1z7Lr?p=26&spm_id_from=pageDriver 的笔记。

2. 案例

2.1 没有checkpoint

/**
 * 项目名称: Apache Flink 知其然,知其所以然 - upgrade
 * 功能描述: 演示开启Checkpoint之后,failover之后可以从失败之前的状态进行续跑。
 * 操作步骤:
 *        1. 直接运行程序,failover之后,聚合值可以从新计算。
 *        2. 开启Checkpoint之后,failover之后 聚合值基于原有状态进行续跑。
 *        3. 改变日志级别,我们看一下Checkpoint数据跑哪里去了(No state backend | failover regions.)
 *        4. 方便查看,修改日志WARNÿ

以上是关于FLinkFlink checkpoint 实现数据连续计算 恢复机制 案例实战的主要内容,如果未能解决你的问题,请参考以下文章

FlinkFlink 监控 Checkpoint

FlinkFlink checkpoint 本地磁盘 没有清除

FlinkFlink 清理过期 Checkpoint 目录的正确姿势

FlinkFlink Checkpoint 问题排查实用指南

FlinkFlink 反压机制 导致checkpoint 失败

FlinkFlink 新一代流计算和容错 Unaligned Checkpoint快速Checkpoint更小的Checkpoint