如何将“--deploy-mode cluster”选项添加到我的 scala 代码

Posted 2023-04-18

【中文标题】如何将“--deploy-mode cluster”选项添加到我的 scala 代码

【英文标题】：How to add the "--deploy-mode cluster" option to my scala code

【发布时间】：2017-05-11 12:28:52

【问题描述】：

209/5000 你好 我想将选项“--deploy-mode cluster”添加到我的代码 scala：

  val sparkConf = new SparkConfig ().setMaster ("spark: //192.168.60.80:7077")

不使用shell（命令.\Spark-submit）

我想在 scala 中使用“spark.submit.deployMode”

【参考方案1】：

使用 SparkConfig：

//set up the spark configuration and create contexts
val sparkConf = new SparkConf().setAppName("SparkApp").setMaster("spark: //192.168.60.80:7077")

val sc = new SparkContext(sparkConf).set("spark.submit.deployMode", "cluster")

使用 SparkSession：

val spark = SparkSession
   .builder()
   .appName("SparkApp")
   .master("spark: //192.168.60.80:7077")
   .config("spark.submit.deployMode","cluster")
   .enableHiveSupport()
   .getOrCreate()

【参考方案2】：

你可以使用

 val sparkConf = new SparkConf ().setMaster ("spark: //192.168.60.80:7077").set("spark.submit.deployMode","cluster")

【讨论】：

val sparkConf = new SparkConf() .set("spark.submit.deployMode" ,"cluster") .setMaster("spark://master:7077") .setAppName("wordcount")

我的地址是：192.168.60.90，在master主机里不一样：192.168.60.80 没有导入，驱动和master之间没有配置注意我用的是Eclipse maven项目

您使用的是哪个版本的 spark？

我正在使用 spark 2.1.0