argparse 处理 bash 命令中的字符串和空格

Posted

技术标签:

【中文标题】argparse 处理 bash 命令中的字符串和空格【英文标题】:argparse dealing with strings and spaces in bash commands 【发布时间】:2021-05-23 22:20:23 【问题描述】:

我有一个要在 HPC 集群上运行的 bash 作业。在我的 bash 脚本中,我使用的是作业数组,因此我不会为要提交的每个作业编写单独的脚本。为了提高效率,我将所有要执行的命令(数组中的每个作业 1 个命令)存储在 .txt 文件中,如下所示:

python mybashtest.py --fname 'Sofia' --lname 'Ghnam'
python mybashtest.py --fname 'Loulou' --lname 'Ghnam'
python mybashtest.py --fname 'Leen' --lname 'hkg02'
python mybashtest.py --fname 'Leen Khaled' --lname 'Gh'

我正在使用 python 的argparse 来解析参数。这是我的python脚本:

import argparse

parser = argparse.ArgumentParser(description='My script')
parser.add_argument('--fname', type=str, default='')
parser.add_argument('--lname', type=str, default='')

parsed_args = parser.parse_args()

if __name__ == '__main__':
    print(parsed_args.fname + " " + parsed_args.lname)

这是我用来运行作业数组的 shell 脚本:

#!/usr/bin/env bash

#SBATCH --job-name=all_jobs
#SBATCH --account=hkg02
#SBATCH --nodes=1
#SBATCH --array=1-3

module load python/3
# Print the task id.
echo "My SLURM_ARRAY_TASK_ID: " $SLURM_ARRAY_TASK_ID
# here the head -n $SLURM_ARRAY_TASK_ID reads the first n lines 
# from the txt file of job command, the # tail -n 1 takes the last line of those.
# A simple trick to associate the Job array number 
# with the appropriate line number in the txt file of command
srun $(head -n $SLURM_ARRAY_TASK_ID jobstest.txt | tail -n 1)

我有以下两个问题:

    我的程序的输出如下(我们以第一个作业为例)
    My SLURM_ARRAY_TASK_ID:  1
    'Sofia' 'Ghnam'
    
    我不希望 '' 成为打印输出的一部分。我不确定它们为什么会出现; 通常我在'' 中传递任何字符串,因为字符串可能包含空格。什么时候 发生这种情况,请参阅第二个项目符号: 在最后的工作中,我传递的字符串在--fname 'Leen Khaled' 之间有间隔,我遇到了以下错误

我的 SLURM_ARRAY_TASK_ID:4 用法:mybashtest.py [-h] [--fname FNAME] [--lname LNAME] mybashtest.py:错误:无法识别的参数:Khaled' srun:错误:onode08:任务0:以退出代码2退出 3. 列表项

【问题讨论】:

我怀疑这与 slurm 无关。请确认使用您的解释器正常运行时仍然会出现此行为。 这与 bash 接受带空格的字符串的方式有关 @AryaMcCarthy 【参考方案1】:

经过几天的尝试解决这个问题,我做了以下事情:

    为了解决问题 1,bash 采用 无空格 的字符串,因此无需将它们包含在双引号 "" 或单引号 '' 中 为了解决问题 2,事实证明,要让 bash 接受带空格的字符串,我们必须将这些字符串初始化为变量,然后按如下方式适当地使用它们:
#!/usr/bin/env bash

#SBATCH --job-name=all_jobs
#SBATCH --account=hkg02
#SBATCH --nodes=1

var1="Leen Khaled"
module load python/3
python mybashtest.py --fname "$var1" --lname Gh

这将输出:

Leen Khaled Gh

【讨论】:

以上是关于argparse 处理 bash 命令中的字符串和空格的主要内容,如果未能解决你的问题,请参考以下文章

其他文本处理命令以及bash变量中的一些字符串的处理方法

默认子命令,或不使用 argparse 处理子命令

如何使用 argparse 处理 CLI 子命令

如何使用 argparse 处理 CLI 子命令

如何有一个特定的子命令需要带有 argparse 的标志?

Python 处理脚本的命令行参数:使用argparse