在 Databricks 中设置驱动程序内存配置

Posted 2023-04-17

【中文标题】在 Databricks 中设置驱动程序内存配置

【英文标题】：Spark set driver memory config in Databricks

【发布时间】：2020-02-18 07:54:15

【问题描述】：

我正在研究 Azure 数据块。我的驱动节点和工作节点规格是：14.0 GB 内存、4 核、0.75 DBU Standard_DS3_v2。

我的 pyspark 笔记本因 Java 堆空间错误而失败。我在网上查了一下，一个建议是增加驱动程序内存。我正在尝试在笔记本中使用以下 conf 参数

spark.conf.get("spark.driver.memory")

获取驱动程序内存。但是我的笔记本单元失败并出现错误。

java.util.NoSuchElementException: spark.driver.memory

知道如何检查驱动程序内存并更改其值吗？

【问题讨论】：

我没有使用过数据砖环境，但我认为你可以实际检查 spark 设置，你应该在那里找到默认的堆设置。

【参考方案1】：

您可以在 Databricks 上设置集群时设置 spark 配置。当您创建集群并展开“高级选项”-菜单时，您可以看到有一个“Spark Config”部分。在此字段中，您可以设置所需的配置。

有关更多信息，您可以随时查看 Azure Databricks 的文档page。

【讨论】：

谢谢！如何检查驱动程序内存是否设置为所需值？

转到集群 -> 选择您的新集群 -> 单击“驱动程序日志”选项卡 -> 检查您的 log4j 日志。通常它们应该是一个条目，上面写着“INFO SparkContext：Spark 配置：”。下面是您所有的 conf 设置。

@Kas1 如果这个回答解决了你的问题，请采纳。