从0到1Flink的成长之路(二十)-Flink 高级特性之Savepoint
Posted 熊老二-
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了从0到1Flink的成长之路(二十)-Flink 高级特性之Savepoint相关的知识,希望对你有一定的参考价值。
Savepoint
保存点由用户手动创建、拥有和删除,它们的用例用于有计划的、手动的备份和恢复。
savepoints
Savepoint 介绍
Savepoint:保存点,类似于以前玩游戏的时候,遇到难关/遇到boss,赶紧手动存个档,然后接着玩,如果失败了,赶紧从上次的存档中恢复,然后接着玩。
在实际开发中,可能会遇到这样的情况:如要对集群进行停机维护/扩容…
那么这时候需要执行一次Savepoint,也就是执行一次手动的Checkpoint,也就是手动的发一个barrier栅栏,那么这样的话,程序的所有状态都会被执行快照并保存,当维护/扩容完毕之后,可以从上一次Savepoint的目录中进行恢复。
Savepoint VS Checkpoint
Checkpoint 与Savepoint区别:
Savepoint 演示
> # 启动yarn session /export/server/flink/bin/yarn-session.sh -jm 1024 -tm 1024 -s 2 -d
运行job-会自动执行Checkpoint /export/server/flink/bin/flink run -d \\ --class cn.itcast.flink.checkpoint.StreamCheckpointDemo \\ /root/ckpt.jar hdfs://node1.itcast.cn:8020/flink-checkpoint/checkpoint 手动创建savepoint--相当于手动做了一次Checkpoint /export/server/flink/bin/flink savepoint 461e4d99b207e435022a6bd2f7b2e5bd \\ hdfs://node1.itcast.cn:8020/flink-checkpoint/savepoint/ 停止job /export/server/flink/bin/flink cancel 461e4d99b207e435022a6bd2f7b2e5bd 重新启动job,手动加载savepoint数据 /export/server/flink/bin/flink run -d \\ -s hdfs://node1.itcast.cn:8020/flink-checkpoint/savepoint/savepoint-461e4d-fb937e8062f7 \\ --class cn.itcast.flink.checkpoint.StreamCheckpointDemo \\ /root/ckpt.jar hdfs://node1.itcast.cn:8020/flink-checkpoint/checkpoint 停止yarn session yarn application -kill application_1598434063229_0001
以上是关于从0到1Flink的成长之路(二十)-Flink 高级特性之Savepoint的主要内容,如果未能解决你的问题,请参考以下文章
从0到1Flink的成长之路(二十)-Flink 高级特性之状态分类
从0到1Flink的成长之路(二十)-Flink 高级特性之Flink 状态管理
从0到1Flink的成长之路(二十)-Flink 高级特性之 Flink 容错机制