Windows开发Flink,Spark环境配置

Posted 码农独白

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Windows开发Flink,Spark环境配置相关的知识,希望对你有一定的参考价值。

1.本地开发环境安装

2.本地配置环境变量HAOOP_HOME,需要下载hadoop相关配置,下载路径:

https://github.com/SirMin/winutils

4.idea怎么配置这里不再描述
 

2.代码例子

    scala代码本地调试例子,如果不加红框的内容,会报错。



 

3.打包部署

1.直接使用maven cleaninstall

2.上传jar包执行,spark运行例子(注意如果代码里面写了master为local需要取消,spark2-submit可不取消,华为mrs2.1.0上面运行需要取消),然后运行命令大致如下,参数根据需要调整即可。

spark2-submit \

--class com.xxx.maintaintablename.MaintainTableNameApplication\

--master yarn\

--queue 'root.dw' \

--deploy-mode cluster \

--num-executors 10 \

--executor-cores 3 \

--executor-memory 8g \

--driver-cores 3 \

--driver-memory 8g \

--conf spark.cores.max=24 \

MaintainTableName.jar

3.flink使用yarn-session运行,首先确认是否已经有yarn-session在运行,如果没有就先执行yarn-session.sh -d -n 4 -nm crm_app -jm1024 -tm 4096,然后执行类似如下命令flink run   -c com.xc.flink_dw.main.crm.CrmMainBusinessSupporter./flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar进行启动。

4.如果是yarn-cluster执行,直接执行flink run -m yarn-cluster -ccom.xc.flink_dw.main.crm.CrmMainflink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar即可

5.最后yarn管理界面查看即可

4.例子源码

https://github.com/MyCreazy/SparkStudy.git

https://github.com/MyCreazy/FlinkStudy



以上是关于Windows开发Flink,Spark环境配置的主要内容,如果未能解决你的问题,请参考以下文章

spark-windows(含eclipse配置)下本地开发环境搭建

windows配置spark开发环境

首次尝试Flink的一些感受

Spark MLlib速成宝典基础篇01Windows下spark开发环境搭建(Scala版)

windows安装Spark单机开发测试环境

windows安装Spark单机开发测试环境