flink on k8s部署方案调研

Posted 2022-08-02 张小凡vip

背景

flink是目前最常用的大数据流计算处理引擎，一共有local，standalone，yarn，kubernetes四种安装部署机构方案。通常使用yarn进行管理，随着k8s云计算体系越来越成熟， 把flink部署在k8s中，是一种很好的趋势。

Standalone和yarn架构模式原理参考

Flink 选择 Kubernetes 作为其底层资源管理平台，原因包括两个方面：

1）Flink 特性：流式服务一般是常驻进程，经常用于电信网质量监控、商业数据即席分析、实时风控和实时推荐等对稳定性要求比较高的场景；

2）Kubernetes 优势：为在线业务提供了更好的发布、管理机制，并保证其稳定运行，同时 Kubernetes 具有很好的生态优势，能很方便的和各种运维工具集成，如 prometheus 监控，主流的日志采集工具等；同时 K8S 在资源弹性方面提供了很好的扩缩容机制，很大程度上提高了资源利用率。 yarn是一台node为最小部署单位，而k8s则可以 使用pod，资源利用更精确。

Flink on k8s 的发展历史

在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。

随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在