转 Spark参数配置

Posted 浅汐王

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了转 Spark参数配置相关的知识，希望对你有一定的参考价值。

下面是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。

Spark提供三个位置用来配置系统：

  • Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置
  • 环境变量：可以通过每个节点的 conf/spark-env.sh脚本设置。例如IP地址、端口等信息
  • 日志配置：可以通过log4j.properties配置

Spark属性

Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可以直接在SparkConf上配置，然后传递给SparkContext。SparkConf 允许你配置一些通用的属性（如master URL、应用程序名称等等）以及通过set()方法设置的任意键值对。例如，我们可以用如下方式创建一个拥有两个线程的应用程序。

val conf = new SparkConf()
             .setMaster("local[2]")
             .setAppName("CountingSheep")
             .set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)

以上是关于转 Spark参数配置的主要内容，如果未能解决你的问题，请参考以下文章