Spark源码 Spark配置
Posted lovemeng1314
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark源码 Spark配置相关的知识,希望对你有一定的参考价值。
写熟悉的第一句代码
val conf = new SparkConf().setAppName("WordCount")
点击SparkConf() ,发现
private val settings = new ConcurrentHashMap[String, String]()
可见 所有配置都是以map[String,String]定义的
//即loadDefaults == true
def this() = this(true)
//
if (loadDefaults) {
//加载系统默认配置 loadFromSystemProperties(false) } private[spark] def loadFromSystemProperties(silent: Boolean): SparkConf = { // Load any spark.* system properties 加载所有spark* 开头的系统属性 for ((key, value) <- Utils.getSystemProperties if key.startsWith("spark.")) { set(key, value, silent) } this } /** Set a configuration variable. */ 自己设置属性 def set(key: String, value: String): SparkConf = { set(key, value, false) }
//开头所写的第一句代码即调用该方法 , 该方法又调用set方法 , 完成配置
def setAppName(name: String): SparkConf = {
set("spark.app.name", name)
}
以上是关于Spark源码 Spark配置的主要内容,如果未能解决你的问题,请参考以下文章
在这个 spark 代码片段中 ordering.by 是啥意思?