Windows开发Flink,Spark环境配置

Posted 2021-04-02 码农独白

1.本地开发环境安装

2.本地配置环境变量HAOOP_HOME,需要下载hadoop相关配置，下载路径：

https://github.com/SirMin/winutils

4.idea怎么配置这里不再描述
 

2.代码例子

    scala代码本地调试例子，如果不加红框的内容，会报错。

 

3.打包部署

1.直接使用maven cleaninstall

2.上传jar包执行，spark运行例子（注意如果代码里面写了master为local需要取消，spark2-submit可不取消，华为mrs2.1.0上面运行需要取消），然后运行命令大致如下，参数根据需要调整即可。

spark2-submit \

--class com.xxx.maintaintablename.MaintainTableNameApplication\

--master yarn\

--queue 'root.dw' \

--deploy-mode cluster \

--num-executors 10 \

--executor-cores 3 \

--executor-memory 8g \

--driver-cores 3 \

--driver-memory 8g \

--conf spark.cores.max=24 \

MaintainTableName.jar

3.flink使用yarn-session运行，首先确认是否已经有yarn-session在运行，如果没有就先执行yarn-session.sh -d -n 4 -nm crm_app -jm1024 -tm 4096，然后执行类似如下命令flink run   -c com.xc.flink_dw.main.crm.CrmMainBusinessSupporter./flink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar进行启动。

4.如果是yarn-cluster执行，直接执行flink run -m yarn-cluster -ccom.xc.flink_dw.main.crm.CrmMainflink_dw-1.0-SNAPSHOT-jar-with-dependencies.jar即可

5.最后yarn管理界面查看即可

4.例子源码

https://github.com/MyCreazy/SparkStudy.git

https://github.com/MyCreazy/FlinkStudy