spark使用idea以client模式提交应用到standalone集群

Posted 2020-10-24 曙光

使用idea以client方式提交代码到standalone集群非常简单。

 

 

1、首先有一个部署好且已经启动的standalone集群

--------------------------------------------------------------------

2、将应用打包 （这里两种选择，一种是包里只含应用不含依赖，另一种是包里是有依赖的。）

没图说个JB:

可以看到第一个是不带依赖的包，这个包就比较小，第二个就是带依赖的包，比较大。

如果是带依赖的包那么代码里就不用显示指定所需要的其他依赖包了，也就是说sparkConf.setJars不用调用了。

如果是不带依赖的包那么就需要指定依赖包了，那么就在sparkConf.setJars里指定依赖包。（注意:因为这里是以client方式启动，所以driver是运行在本地的，所以这里setJars的地址既可以写成本地地址，比如　　　　　　　D:\\\\asd\\\\wqe\\\\sparkDemo.jar；如果是以集群模式启动的话，那么这个jar包的地址必须对所有节点可见，意思是说要么这个地址是个hdfs的地址，要么是个各个节点的本地都有的地址.）

--------------------------------------------------------------------

3、代码中设置集群master地址，设置依赖包（spark会让依赖包在集群中传递）.

--------------------------------------------------------------------

4、运行程序，点那个绿色的箭头.

　　

点击运行后可以查看driver的UI,http://10.217.6.33:4040/jobs/:

有job在运行，说明成功了！