Flink 1.15 集群部署

Posted 2023-03-02 响彻天堂丶

集群配置

1 集群规划

节点服务器	hadoop1	hadoop2	hadoop3
角色	JobManager	TaskManager	TaskManager

2 解压包

tar -zxvf flink-1.15.0-bin-scala_2.12.tgz
cd /usr/local/flink-1.15.0

3 修改workers 和 masters

vim masters
hadoop1:8081

vim workers
hadoop2
hadoop3

4 修改配置文件

4.1 修改 JobManager 配置文件

vim flink-conf.yaml

# master地址
jobmanager.rpc.address: hadoop1
 
# master端口,不用改
jobmanager.rpc.port: 6123
 
# master地址绑定设置（master节点参数）
jobmanager.bind-host: 0.0.0.0
 
# worker地址绑定设置
taskmanager.bind-host: 0.0.0.0
 
# worker地址（注意：要改成每个worker节点的主机名）
taskmanager.host: localhost
 
# worker槽位数设置
taskmanager.numberOfTaskSlots: 1
 
# 默认并行度
parallelism.default: 1
 
# WEB UI 端口（master节点参数） 放开注释即可
rest.port: 8081
 
# WEB UI 管理地址
rest.address: hadoop1
 
# WEB UI 地址绑定设置，想让外部访问，可以设置具体的IP，或者直接设置成“0.0.0.0”（master节点参数）
rest.bind-address: 0.0.0.0

4.2 同步到其它节点

cd  /usr/local
scp -r flink-1.15.0/  root@hadoop2:/usr/local/
scp -r flink-1.15.0/  root@hadoop3:/usr/local/

4.3 修改TaskManager配置文件

cd /usr/local/flink-1.15.0/conf
vim flink-conf.yaml

#hadoop2
taskmanager.host: hadoop2

#hadoop3
taskmanager.host: hadoop3

5 启动

#hadoop1 
cd /usr/local/flink-1.15.0
bin/start-cluster.sh

6 访问UI