FlinkFlink 记录一个 checkpoint 检查点 越来越大的问题
Posted 九师兄
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了FlinkFlink 记录一个 checkpoint 检查点 越来越大的问题相关的知识，希望对你有一定的参考价值。
文章目录
1.概述
Flink SQL checkpoint越来越大咋么办，从2个G，现在4个G了，增量同步的，窗口是1小时，watermark是6小时，按道理来说，数据量不应该越来越大啊？
在窗口内执行了count(distinct )这些操作。设置了状态的ttl。后端状态存储用的rocksdb。
状态如下
设置了增量的检查点
代码设置不一定有效，需要看实际设置成功了没。这里有才说明你设置成功了
可能和 【Flink系列】- RocksDB增量模式checkpoint大小持续增长的问题及解决
以上是关于FlinkFlink 记录一个 checkpoint 检查点 越来越大的问题的主要内容，如果未能解决你的问题，请参考以下文章
FlinkFlink 使用代码如何主动触发 SavePoint
FlinkFlink 模拟 kafka 消费重启后 能接着读取 保存状态信息
FlinkFLink Task did not exit gracefully within 180 + seconds 未解决
FlinkFLink 设置 TaskManager 端口固定 或者 在一定范围