如何在 Spark Scala 作业中加载和写入属性文件？

Posted 2023-03-23

【中文标题】如何在 Spark Scala 作业中加载和写入属性文件？

【英文标题】：How to load and write properties file in a Spark Scala job?

【发布时间】：2022-01-15 00:49:20

【问题描述】：

我有一份工作 Spark，我应该以这种格式从文件“config.properties”中读取属性信息：

var1=1
var2=12/10/2021

在过程结束时，我应该更新 var1 和 var2 ，所以我必须覆盖“config.properties”文件......我该怎么办？

【问题讨论】：

使用 json 文件而不是属性文件来保持变量。如果您的用例是在处理后更新变量。

好的，你将如何编码？

【参考方案1】：

此代码将成为驱动程序的一部分，因此您可以将其编写为读取配置文件的任何 Java/Scala 应用程序，无论是属性格式还是使用 JSON。

你需要记住的：

当您在本地模式（当您使用 setMaster(“local”) 创建会话时）或客户端模式（将 master 设置为已知集群）运行时，您将在本地运行。这意味着驱动程序将访问您的本地文件系统。确保运行应用 Ahmad 的用户有权这样做。 在集群模式下，通过 Spark-submit 或类似工具提交应用程序时，您无法控制路径，您可能无法访问集群上的本地文件。在这种情况下，根据您的基础架构，您可能希望指向云驱动器（S3 或等效）、网络挂载（SMB、NFS...）或虚拟驱动器（Google Drive、ownCloud、Dropbox...）