转 Spark参数配置
Posted 浅汐王
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了转 Spark参数配置相关的知识，希望对你有一定的参考价值。
下面是整理的Spark中的一些配置参数，官方文档请参考Spark Configuration。
Spark提供三个位置用来配置系统：
- Spark属性：控制大部分的应用程序参数，可以用SparkConf对象或者Java系统属性设置
- 环境变量：可以通过每个节点的
conf/spark-env.sh脚本设置。例如IP地址、端口等信息 - 日志配置：可以通过log4j.properties配置
Spark属性
Spark属性控制大部分的应用程序设置，并且为每个应用程序分别配置它。这些属性可以直接在SparkConf上配置，然后传递给SparkContext。SparkConf 允许你配置一些通用的属性（如master URL、应用程序名称等等）以及通过set()方法设置的任意键值对。例如，我们可以用如下方式创建一个拥有两个线程的应用程序。
val conf = new SparkConf()
.setMaster("local[2]")
.setAppName("CountingSheep")
.set("spark.executor.memory", "1g")
val sc = new SparkContext(conf)
以上是关于转 Spark参数配置的主要内容，如果未能解决你的问题，请参考以下文章
在这个 spark 代码片段中 ordering.by 是啥意思？
spark关于join后有重复列的问题（org.apache.spark.sql.AnalysisException: Reference '*' is ambiguous）(代码片段