4个步骤让 Flink 应用程序达到生产状态
Posted @SmartSi
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了4个步骤让 Flink 应用程序达到生产状态相关的知识，希望对你有一定的参考价值。
传送门：Flink 系统性学习笔记
这篇文章阐述了 Flink 应用程序达到生产状态所必须的配置步骤。在以下部分中，我们介绍了在 Flink 作业达到生产状态之前技术领导、DevOps、工程师们需要仔细考虑的重要配置参数。Flink 为大多数配置选项都提供了开箱即用的默认选项，在许多情况下它们是 POC 阶段（概念验证）或探索 Flink 不同 API 和抽象的很好的起点。
然而，将 Flink 应用程序投入生产还需要额外的配置，这些配置可以高效地扩展应用程序规模，使其达到生产状态，并能与不同系统要求，Flink 版本，连接器等兼容，以保证未来迭代和升级。
下面是我们收集的需要在 Flink 应用上线前检查的一些配置点：
1. 明确定义 Flink 算子的最大并发度
Flink 的 KeyedState 是由 key group 进行组织，然后分发到 Flink 算子的各个并发实例上。这是分发的最小原子单元，因此也会影响 Flink 应用程序的可伸缩性。作业的每个算子的 key group 个数只能设置一次，可以手动配置或者直接使用默认配置。默认值粗略地使用 operatorParallelism * 1.5，下限 128，上限 32768 。可以通过
以上是关于4个步骤让 Flink 应用程序达到生产状态的主要内容，如果未能解决你的问题，请参考以下文章