flink 作业的最佳 heartbeat.timeout 配置

Posted

技术标签:

【中文标题】flink 作业的最佳 heartbeat.timeout 配置【英文标题】:Optimal heartbeat.timeout configuration for flink jobs 【发布时间】:2021-10-13 23:21:39 【问题描述】:

我们应该如何确定 。我正在使用 flink 1.10.3,由于心跳超时异常,我的服务失败。当前设置的默认值是 50 秒。

【问题讨论】:

【参考方案1】:

也许你可以修改conf/flink-conf.yaml,或者通过-D动态参数

可能对你有帮助 https://ci.apache.org/projects/flink/flink-docs-master/docs/deployment/cli/

【讨论】:

【参考方案2】:

在我的 flink 工作中,我尝试将 heartbeat.timeout 从 50s 增加到 5min,但没有奏效,并且异常不断出现。 在我的情况下,心跳超时异常的原因是任务管理器在堆内存耗尽时崩溃。 所以我尝试将 taskmanager.memory.managed.fraction 从 0.4 更改为 0.05,这反过来又增加了堆内存。 现在,心跳故障的频率降低了,管道也可以从故障中重新启动。

【讨论】:

以上是关于flink 作业的最佳 heartbeat.timeout 配置的主要内容,如果未能解决你的问题,请参考以下文章

是否可以在流式 flink 作业中创建批处理 flink 作业?

Flink源码篇,作业提交流程作业调度流程作业内部转换流程图

Flink JDBC Connector:Flink 与数据库集成最佳实践

Flink JDBC Connector:Flink 与数据库集成最佳实践

Flink如何生成 Flink 作业的交互式火焰图?

Flink内幕-作业调度--flink1.13