Flink打包提交到集群问题

Posted 持枢

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink打包提交到集群问题相关的知识,希望对你有一定的参考价值。

一、clean之后直接package

 The program\'s entry point class \'com.atguigu.wcBase.Workcount\' was not found in the jar file.

需要在clean之后build,再package

 

二、standalone

启动Flink集群 start-cluster

前提打开nc -lk 9999

提交job

flink run -c com.atguigu.wcBase.StreamWorkcount  /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host localhost --port 9999

查看job

flink list

取消job

flink cancel jobId

 

三、yarn

1.启动yarn-session:yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test

-n(--container):TaskManager 的数量。
-s(--slots): 每个 TaskManager 的 slot 数量,默认一个 slot 一个 core,默认每个
taskmanager 的 slot 的个数为 1,有时可以多一些 taskmanager,做冗余。
-jm:JobManager 的内存(单位 MB)。
-tm:每个 taskmanager 的内存(单位 MB)。
-nm:yarn 的 appName(现在 yarn 的 ui 上的名字)。
-d:后台执行。
 
提交任务:
flink run -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777
 
2.不启动yarn,直接提交任务
flink run –m yarn-cluster -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port
7777
 
yarn控制台查看任务情况
 
 
 
 
 
 

 

以上是关于Flink打包提交到集群问题的主要内容,如果未能解决你的问题,请参考以下文章

Flink学习笔记03:将项目打包提交到Flink集群上运行(Java版)

Flink 本地运行 Web UI

Flink 本地运行 Web UI

Flink SQL 客户端如何使用

Flink SQL 客户端如何使用

)