如何将shell脚本中定义的变量用于Scala文件? [重复]
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何将shell脚本中定义的变量用于Scala文件? [重复]相关的知识,希望对你有一定的参考价值。
这个问题在这里已有答案:
我有一个脚本文件,我在其中定义一些日期变量,在同一个文件中,我使用spark-shell命令调用Scala代码。
shell文件中定义的变量在我的Scala代码(Spark.sql)中用作日期值(过滤器)
但是,我从Scala代码收到错误,找不到值。我试过但这个问题仍然存在。
你能帮帮我吗?
感谢致敬,
交换
答案
首先,您需要将spark中的文件路径作为参数传递,然后使用import java.util.Properties解析该文件。
然后,您可以获取键的值并将其保存在scala变量中。
然后你可以在你的spark.sql中使用它作为spark.sql(s“select * from table,其中d ='$ {variable_name}'”)
以上是关于如何将shell脚本中定义的变量用于Scala文件? [重复]的主要内容,如果未能解决你的问题,请参考以下文章