Flink打包提交到集群问题
Posted 持枢
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Flink打包提交到集群问题相关的知识,希望对你有一定的参考价值。
一、clean之后直接package
The program\'s entry point class \'com.atguigu.wcBase.Workcount\' was not found in the jar file.
需要在clean之后build,再package
二、standalone
启动Flink集群 start-cluster
前提打开nc -lk 9999
提交job
flink run -c com.atguigu.wcBase.StreamWorkcount /opt/module/flink-1.11.3/learning-1.0-SNAPSHOT.jar --host localhost --port 9999
查看job
flink list
取消job
flink cancel jobId
三、yarn
1.启动yarn-session:yarn-session.sh -n 2 -s 2 -jm 1024 -tm 1024 -nm test
-n(--container):TaskManager 的数量。
-s(--slots): 每个 TaskManager 的 slot 数量,默认一个 slot 一个 core,默认每个
taskmanager 的 slot 的个数为 1,有时可以多一些 taskmanager,做冗余。
-jm:JobManager 的内存(单位 MB)。
-tm:每个 taskmanager 的内存(单位 MB)。
-nm:yarn 的 appName(现在 yarn 的 ui 上的名字)。
-d:后台执行。
提交任务:
flink run -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port 7777
2.不启动yarn,直接提交任务
flink run –m yarn-cluster -c com.atguigu.wc.StreamWordCount
FlinkTutorial-1.0-SNAPSHOT-jar-with-dependencies.jar --host lcoalhost –port
7777
yarn控制台查看任务情况
以上是关于Flink打包提交到集群问题的主要内容,如果未能解决你的问题,请参考以下文章