在 DataBricks 中，如何为变量分配来自外部文件的字符串值？

Posted 2023-04-15

【中文标题】在 DataBricks 中，如何为变量分配来自外部文件的字符串值？

【英文标题】：In DataBricks how can I assign a variable a string value from external file?

【发布时间】：2021-03-23 12:45:02

【问题描述】：

在 DataBricks 中，我尝试为我的配置变量使用外部文件。我创建了一个 CSV 文件并将其上传到 DBFS。现在我只能以表格（DataFrames）的形式访问它。如何将它作为字符串值分配给变量？在python中获取配置变量的其他做法是什么？

【问题讨论】：

***.com/questions/66688728/…

【参考方案1】：

您可以使用 pandas 读取配置文件，并使用 csv 配置文件中存在的列相应地初始化变量

conf_df = pd.read_csv('/dbfs/mnt/<your path>')
date_conf = conf_df['date']

由于配置文件的重要性不足以实际与 Spark 结合使用，因此您可以求助于 pandas

【讨论】：

/dbfs/ 在社区版中不起作用