2-flink单机部署与job提交

Posted 2022-04-11 PacosonSWJTU

【README】

本文记录了flink单机部署，以及flink job2种提交方式；

---

【1】flink 单机部署

step1）下载flink 包；

Apache Flink: Stateful Computations over Data Streamshttps://flink.apache.org/

 step2）解压

tar -zxvf flink-1.14.4-bin-scala_2.12.tgz -C flink-1.14.4

step3）查看flink 默认配置

vim conf/flink-conf.yaml

查看master节点配置

 

step4）启动单机flink

进入flink home目录

[root@centos201 flink-1.14.4]# ll
total 480
drwxr-xr-x.  2 1000 1001   4096 Feb 25 20:49 bin
drwxr-xr-x.  2 1000 1001    263 Apr  9 22:23 conf
drwxr-xr-x.  7 1000 1001     76 Feb 25 20:49 examples
drwxr-xr-x.  2 1000 1001   4096 Feb 25 20:49 lib
-rw-r--r--.  1 1000 1001  11357 Feb 24 05:06 LICENSE
drwxr-xr-x.  2 1000 1001   4096 Feb 25 20:49 licenses
drwxr-xr-x.  2 1000 1001    243 Apr  9 23:11 log
-rw-r--r--.  1 1000 1001 458501 Feb 25 20:49 NOTICE
drwxr-xr-x.  3 1000 1001   4096 Feb 25 20:49 opt
drwxr-xr-x. 10 1000 1001    210 Feb 25 20:49 plugins
-rw-r--r--.  1 1000 1001   1309 Feb 24 05:06 README.txt
[root@centos201 flink-1.14.4]# pwd
/opt/software/flink-1.14.4/flink-1.14.4

执行   ./bin/start-cluster.sh 启动集群 

进入flink ui界面

查看主页： http://192.168.163.201:8081/#/overview ， 因为localhost 机器是 192.168.163.201

至此 flink单机模式启动成功；

---

【2】提交flink job

把 flink job（带main函数的java类）打包为 jar；

或者通过maven package 打包；

关于flink job的开发方式，可以参考 1-flink理论-批处理与流处理+简单示例_PacosonSWJTU的博客-CSDN博客

---

【2.1】手动在ui界面提交job

step1）把jar 上传到flink web服务器

 step2）填写参数并提交

 查看控制台输出：

---

 

 【2.2】命令行提交job

step1）命令提交job

bin/flink run -c com.cmc.wc.SocketTextStreamWordCount -p 1 /opt/software/flink-1.14.4/jobjar/flinkdemo-1.0-SNAPSHOT.jar

命令行提交job后，可以在ui界面查看job 列表；

step2）查看job列表 （运行中）

 bin/flink list

step3）取消job

 bin/flink cancel jobid

如 bin/flink cancel 93d772d87a75fd72143cecf2df25f5ef  

step4）查看所有job列表（包括取消的）

bin/flink list -a