如何将shell脚本中定义的变量用于Scala文件? [重复]

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何将shell脚本中定义的变量用于Scala文件? [重复]相关的知识,希望对你有一定的参考价值。

我有一个脚本文件,我在其中定义一些日期变量,在同一个文件中,我使用spark-shell命令调用Scala代码。

shell文件中定义的变量在我的Scala代码(Spark.sql)中用作日期值(过滤器)

但是,我从Scala代码收到错误,找不到值。我试过但这个问题仍然存在。

你能帮帮我吗?

感谢致敬,

交换

答案

首先,您需要将spark中的文件路径作为参数传递,然后使用import java.util.Properties解析该文件。

然后,您可以获取键的值并将其保存在scala变量中。

然后你可以在你的spark.sql中使用它作为spark.sql(s“select * from table,其中d ='$ {variable_name}'”)

以上是关于如何将shell脚本中定义的变量用于Scala文件? [重复]的主要内容,如果未能解决你的问题,请参考以下文章

如何在shell脚本中使用变量

Shell基本脚本命令使用教程

如何在shell脚本中使用变量

如何将 shell 脚本中的结果传递给 Job 中的变量

Linux_Shell脚本编程之设置环境变量

export命令