向 Condor 提交作业时,Scala 提交文件会是啥样子?

Posted

技术标签:

【中文标题】向 Condor 提交作业时,Scala 提交文件会是啥样子?【英文标题】:What the Scala submission file would look like when submitting a job to Condor?向 Condor 提交作业时,Scala 提交文件会是什么样子? 【发布时间】:2016-03-15 20:44:11 【问题描述】:

我尝试使用我从 Scala 编译的 jar 文件向 Condor 提交作业

sbt package

这只是一个基本的 HelloWorld 程序。然后,我不确定提交文件会是什么样子。我尝试了一些组合来模仿我在 java 中所做的事情

universe                = Scala
executable              = Hello.jar
arguments               = Hello
jar_files               = Hello.jar
log                     = hello.log
error                   = hello.err
output                  = hello-$(Process).txt
Queue 1

提高

ERROR: I don't know about the 'Scala' universe.

我也试过

universe                = java

universe                = Vanilla

但没有运气。任何帮助将不胜感激。

【问题讨论】:

【参考方案1】:

这是一个相当晚的响应,但以下配置文件对我有用,建立在关于使用 java 解释器运行 scala 代码的提示 given here 之上。该博客基本上说以下行将运行一个名为 Hello 的 scala 类:

java -cp $SCALA_HOME/lib/scala-library.jar;. Hello

我必须将 scala-library.jar 复制到工作目录才能使配置文件正常工作。

universe       = java
executable     = Compute.class
jar_files      = scala-library.jar
arguments      = Compute
output         = Compute.output
error          = Compute.error
queue

希望这会有所帮助。不过,还没有尝试过任何严肃的 scala 程序。

【讨论】:

以上是关于向 Condor 提交作业时,Scala 提交文件会是啥样子?的主要内容,如果未能解决你的问题,请参考以下文章

使用 Shell 脚本文件提交 Spark 作业

提交jar时的Scala-Spark NullPointerError,而不是在shell中

调试htcondor运行python脚本的问题

作业提交过程之HDFS&MapReduce

作业提交过程之HDFS&MapReduce

如何使用 SFTP 向大型机提交/​​检索批处理作业