Azure Databricks：如何在 Databricks 群集中添加 Spark 配置

Posted 2023-02-19

【中文标题】Azure Databricks：如何在 Databricks 群集中添加 Spark 配置

【英文标题】：Azure Databricks: How to add Spark configuration in Databricks cluster

【发布时间】：2020-02-29 11:33:02

【问题描述】：

我正在使用 Spark Databricks 集群并希望添加自定义的 Spark 配置。 有一个关于此的 Databricks 文档，但我不知道应该如何以及应该进行哪些更改。有人可以分享配置 Databricks 集群的示例吗。 有什么方法可以查看 Databricks 集群中 Spark 的默认配置。

【参考方案1】：

要微调 Spark 作业，您可以在集群配置中提供自定义 Spark configuration 属性。

在集群配置页面上，点击高级选项开关。 单击 Spark 选项卡。

[OR]

当您使用集群 API 配置集群时，请在创建集群请求或编辑集群请求的 spark_conf 字段中设置 Spark 属性。

要为所有集群设置 Spark 属性，请创建一个全局初始化脚本：

%scala
dbutils.fs.put("dbfs:/databricks/init/set_spark_params.sh","""
  |#!/bin/bash
  |
  |cat << 'EOF' > /databricks/driver/conf/00-custom-spark-driver-defaults.conf
  |[driver] 
  |  "spark.sql.sources.partitionOverwriteMode" = "DYNAMIC"
  |
  |EOF
  """.stripMargin, true)

参考：Databricks - Spark Configuration

示例：你可以选择任何你想测试的spark配置，这里我要指定“spark.executor.memory 4g”，自定义配置看起来像这个。

集群创建完成后，可以查看自定义配置的结果。

希望这会有所帮助。

【讨论】：

这就是我在“有一个 Databricks 文档”的问题中提到的。但我想知道我们添加了什么以及如何添加 spark 配置。

嘿@Stark，您可以查看答案中提供的示例。如果需要任何帮助，请告诉我。

我正面临 OOM 问题，所以我认为我应该对集群配置进行一些更改。在运行 10 次或更多次后执行 Spark 作业后出现 OOM。我正在对相同的数据执行管道。但有时它会失败。 ***.com/questions/58640218/…

知道我应该怎么做才能解决这个问题。

嗨@Stark 你试过上面的例子“spark.executor.memory 4g”并执行火花作业。