flink 作业的最佳 heartbeat.timeout 配置
Posted
技术标签:
【中文标题】flink 作业的最佳 heartbeat.timeout 配置【英文标题】:Optimal heartbeat.timeout configuration for flink jobs 【发布时间】:2021-10-13 23:21:39 【问题描述】:我们应该如何确定 。我正在使用 flink 1.10.3,由于心跳超时异常,我的服务失败。当前设置的默认值是 50 秒。
【问题讨论】:
【参考方案1】:也许你可以修改conf/flink-conf.yaml,或者通过-D动态参数
可能对你有帮助 https://ci.apache.org/projects/flink/flink-docs-master/docs/deployment/cli/
【讨论】:
【参考方案2】:在我的 flink 工作中,我尝试将 heartbeat.timeout 从 50s 增加到 5min,但没有奏效,并且异常不断出现。 在我的情况下,心跳超时异常的原因是任务管理器在堆内存耗尽时崩溃。 所以我尝试将 taskmanager.memory.managed.fraction 从 0.4 更改为 0.05,这反过来又增加了堆内存。 现在,心跳故障的频率降低了,管道也可以从故障中重新启动。
【讨论】:
以上是关于flink 作业的最佳 heartbeat.timeout 配置的主要内容,如果未能解决你的问题,请参考以下文章
是否可以在流式 flink 作业中创建批处理 flink 作业?
Flink源码篇,作业提交流程作业调度流程作业内部转换流程图
Flink JDBC Connector:Flink 与数据库集成最佳实践