Flink1.8 集群搭建完全指南(1)：Hadoop伪分布式

Posted 2023-03-04

参考技术A Flink是目前在国内非常流行的大数据的计算框架，其设计理念可以完美的实现数据的批流计算一体化。Flink的集群，如果要使用到JobManager的HA，以及Yarn的资源调度的话，整体的部署过程还是比较复杂的。本系列文章将完整介绍Hadoop，Kerberos，SASL，Yarn，以及Flink集群的搭建过程，一步步完成整个系统环境的部署。

Hadoop的HDFS在Flink中用作JobManager的HA，Yarn可以用于Flink任务的资源调度，因此是必不可少的。下面我们先搭建好一个Hadoop的集群。

对于一些不熟悉Hadoop集群的搭建的同学，我们先来看下伪分布式集群的搭建，可以快速的熟悉简化的配置过程，以及Hadoop的各配置文件等。

以下是我用于部署该服务的机器：

在伪分布式集群中，所有的服务都在同一节点启动，但它们之间也同样通过ssh的方式访问，所以需要配置ssh免密码登录，配置的方式如下：

测试以下命令，成功跳转即可：

在集群搭建完成后，可以运行Hadoop的示例任务，检查集群是否能够正常工作，命令如下：

该程序会打印PI的值，则执行成功。在Yarn的Web页面，可以看到有一个成功的Application。

下一节我们会介绍Hadoop的分布式集群，Kerberos和SASL等的部署。