Databricks Spark 会议

Posted 2023-04-15

【中文标题】Databricks Spark 会议

【英文标题】：Databricks Spark Conf

【发布时间】：2017-08-24 14:10:55

【问题描述】：

抱歉，这里提出了一个愚蠢的问题，但我正在尝试更改 spark 连接器的配置，特别是 Mongo Spark 连接器（需要将连接器从访问我们的 Prod 服务器更改为我们的辅助服务器）。如何访问 SparkConf 以进行这些更改？我正在使用 Databricks 和 Python，v2.1

我正在查看https://docs.mongodb.com/spark-connector/master/configuration/，但我很困惑我什至在哪里输入这个？本地？在笔记本上？进入命令行？我已经尝试过这些，但没有任何成功。如果有人有一个实际的逐步分解，那将是惊人的。

【参考方案1】：

如果您想使用 Databricks 仪表板提供配置：

转到您的 Databricks 仪表板。

打开集群面板。

点击创建集群。

打开 Spark 选项卡并指定所需的选项：

您应该使用与配置文件相同的格式，包括前缀：

spark.mongodb.input.uri  mongodb://host:port/ 

参考：

https://docs.databricks.com/user-guide/clusters/spark-config.html