R 脚本不在 Slurm 批处理作业中运行

Posted 2023-03-10

【中文标题】R 脚本不在 Slurm 批处理作业中运行

【英文标题】：R script does not run within Slurm batch job

【发布时间】：2018-04-14 05:01:52

【问题描述】：

我正在运行一个如下启动的脚本：

#!/usr/bin/env Rscript
#./geneiase -t static -i mydata.tab

如果我直接在命令行中对我的数据运行脚本，它会在没有错误或警告的情况下启动。

但该程序对计算的要求非常高，因此我需要使用名为 Slurm 的作业调度程序将我的作业提交到集群。

当我在批处理作业文件中编写完全相同的表达式（如第二段中所述），然后我使用 sbatch 提交作业时，它会立即终止并且不会返回任何可以帮助我的错误或输出理解问题。

我认为这与在$PATH 中包含Rscript 有关，但即使我通过PATH=$PATH:path/to/R/build/R-3.4.0/lib64/R/bin 将Rscript 所在的目录添加到$PATH，问题仍然存在。

有没有办法让 Rscript 在 Slurm 批处理作业中运行？

【问题讨论】：

我发现#SBATCH --workdir= 中有一个错字，这就是为什么该工作立即被拒绝而没有输出的原因。该作业在修复所述错字后运行

【参考方案1】：

您需要将 SLURM 脚本的环境保持为 bash

#!/bin/bash

由于您可以从命令行运行 R 脚本，这可能意味着 R 的路径已包含在您的 $PATH 中。在命令行上，您可能已经执行了以下操作：

Rscript ./path-to-script/script

要从 SLURM 脚本中运行 R，与从命令行运行相同：

Rscript ./path-to-script/script

【讨论】：

按照您的建议Rscript ./path-to-script/script，我在 SLURM 中调用了 R 脚本。不幸的是，问题仍然存在，即使当我直接在命令行中键入时，相同的表达式在 SLURM 之外也有效