同时解析python中的多个子命令或以其他方式对解析的参数进行分组

Posted 2023-03-25

【中文标题】同时解析python中的多个子命令或以其他方式对解析的参数进行分组

【英文标题】：Parse multiple subcommands in python simultaneously or other way to group parsed arguments

【发布时间】：2015-10-12 03:19:09

【问题描述】：

我正在将 Bash shell 安装程序实用程序转换为 Python 2.7，并且需要实现复杂的 CLI，以便能够解析数十个参数（可能高达 ~150）。除了十几个通用部署选项之外，这些是 Puppet 类变量的名称，这些选项在 shell 版本中可用。

然而，在我开始添加更多变量之后，我面临着几个挑战： 1. 我需要将参数分组到单独的字典中，以便将部署选项与 Puppet 变量分开。如果它们被扔到同一个桶中，那么我将不得不编写一些逻辑来对它们进行排序，可能会重命名参数，然后字典合并不会是微不足道的。 2. 可能存在同名但属于不同 Puppet 类的变量，所以我认为子命令可以让我过滤去哪里，避免名称冲突。

目前我已经通过简单地添加多个解析器来实现参数解析：

parser = argparse.ArgumentParser(description='deployment parameters.')
env_select = parser.add_argument_group(None, 'Environment selection')
env_select.add_argument('-c', '--client_id',  help='Client name to use.')
env_select.add_argument('-e', '--environment', help='Environment name to use.')
setup_type = parser.add_argument_group(None, 'What kind of setup should be done:')
setup_type.add_argument('-i', '--install', choices=ANSWERS, metavar='', action=StoreBool, help='Yy/Nn Do normal install and configuration')
# MORE setup options
...
args, unk = parser.parse_known_args()
config['deploy_cfg'].update(args.__dict__)

pup_class1_parser = argparse.ArgumentParser(description=None)
pup_class1 = pup_class1_parser.add_argument_group(None, 'Puppet variables')
pup_class1.add_argument('--ad_domain', help='AD/LDAP domain name.')
pup_class1.add_argument('--ad_host', help='AD/LDAP server name.')
# Rest of the parameters

args, unk = pup_class1_parser.parse_known_args()
config['pup_class1'] = dict()
config['pup_class1'].update(args.__dict__)
# Same for class2, class3 and so on.

这种方法无法解决问题 2 的问题。此外，第一个解析器使用“-h”选项，其余参数未显示在帮助中。

我曾尝试使用example selected as an answer，但我无法同时使用这两个命令。

## This function takes the 'extra' attribute from global namespace and re-parses it to create separate namespaces for all other chained commands.
def parse_extra (parser, namespace):
  namespaces = []
  extra = namespace.extra
  while extra:
    n = parser.parse_args(extra)
    extra = n.extra
    namespaces.append(n)

  return namespaces

pp = pprint.PrettyPrinter(indent=4)

argparser=argparse.ArgumentParser()
subparsers = argparser.add_subparsers(help='sub-command help', dest='subparser_name')

parser_a = subparsers.add_parser('command_a', help = "command_a help")
## Setup options for parser_a
parser_a.add_argument('--opt_a1', help='option a1')
parser_a.add_argument('--opt_a2', help='option a2')

parser_b = subparsers.add_parser('command_b', help = "command_b help")
## Setup options for parser_a
parser_b.add_argument('--opt_b1', help='option b1')
parser_b.add_argument('--opt_b2', help='option b2')


## Add nargs="*" for zero or more other commands
argparser.add_argument('extra', nargs = "*", help = 'Other commands')

namespace = argparser.parse_args()
pp.pprint(namespace)
extra_namespaces = parse_extra( argparser, namespace )
pp.pprint(extra_namespaces)

结果我：

$ python argtest.py command_b --opt_b1 b1 --opt_b2 b2 command_a --opt_a1 a1
usage: argtest.py [-h] command_a,command_b ... [extra [extra ...]]
argtest.py: error: unrecognized arguments: command_a --opt_a1 a1

当我尝试用两个子解析器定义父时，结果相同。

问题

我能否以某种方式使用 parser.add_argument_group 进行参数解析，还是仅用于帮助打印输出中的分组？它将解决问题 1，而不会丢失帮助的副作用。将其作为 parse_known_args(namespace=argument_group) 传递（如果我正确地记得我的实验）会获取所有变量（没关系），但也会在结果 dict 中获取所有 Python 对象内容（这对 hieradata YAML 不利） 我在第二个示例中缺少什么以允许使用多个子命令？或者使用 argparse 是不可能的？ 对命令行变量进行分组还有其他建议吗？我查看了 Click，但对于我的任务，没有发现比标准 argparse 有任何优势。

注意：我是系统管理员，不是程序员，所以请对我进行非对象样式编码。 :)

谢谢

已解决 参数分组通过hpaulj 建议的答案解决。

import argparse
import pprint
parser = argparse.ArgumentParser()

group_list = ['group1', 'group2']

group1 = parser.add_argument_group('group1')
group1.add_argument('--test11', help="test11")
group1.add_argument('--test12', help="test12")

group2 = parser.add_argument_group('group2')
group2.add_argument('--test21', help="test21")
group2.add_argument('--test22', help="test22")

args = parser.parse_args()
pp = pprint.PrettyPrinter(indent=4)

d = dict()

for group in parser._action_groups:
    if group.title in group_list:
        d[group.title]=a.dest:getattr(args,a.dest,None) for a in group._group_actions

print "Parsed arguments"
pp.pprint(d)

这让我得到了问题 1 的预期结果。直到我将有多个具有相同名称的参数。解决方案可能看起来很难看，但至少可以按预期工作。

python argtest4.py --test22 aa  --test11 yy11 --test21 aaa21
Parsed arguments
   'group1':    'test11': 'yy11', 'test12': None,
    'group2':    'test21': 'aaa21', 'test22': 'aa'

【参考方案1】：

您的问题太复杂，无法一口气理解和回答。但我会抛出一些初步的想法。

是的，argument_groups 只是在帮助中对参数进行分组的一种方式。它们对解析没有影响。

另一个最近的 SO 询问有关解析参数组的问题：

Is it possible to only parse one argument group's parameters with argparse?

该发帖人最初想使用一个组作为解析器，但 argparse 类结构不允许这样做。 argparse 以对象样式编写。 parser=ArguementParser... 创建一类对象，parser.add_arguement... 创建另一类，add_argument_group... 又一个。您可以通过继承 ArgumentParser 或 HelpFormatter 或 Action 类等来自定义它。

我提到了parents 机制。您定义一个或多个父解析器，并使用它们来填充您的“主”解析器。它们可以独立运行（使用 parse_known_args），而 'main' 用于处理帮助。

我们还讨论了在解析后对参数进行分组。 namespace 是一个简单的对象，其中每个参数都是一个属性。它也可以转换为字典。从字典中提取项目组很容易。

有关于使用多个子解析器的问题。这是一个尴尬的提议。可能，但并不容易。子解析器就像向系统程序发出命令。您通常在每次调用时发出一个命令。您不会嵌套它们或发出序列。您让 shell 管道和脚本处理多个操作。

IPython 使用argparse 解析其输入。它首先捕获帮助，然后发出自己的消息。大多数参数来自配置文件，因此可以使用默认配置、自定义配置和命令行设置值。这是命名大量参数的示例。

子解析器允许您使用相同的参数名称，但不能在一次调用中调用多个子解析器，这并没有多大帮助。即使您可以调用多个子解析器，它们仍然会将参数放在同一个命名空间中。 argparse 也尝试以独立于顺序的方式处理标记的参数。因此，命令行末尾的 --foo 会像在开头一样被解析。

在我们讨论使用参数名称（'dest'）的地方有一个问题，比如'group1.argument1'，我什至讨论过使用嵌套命名空间。如果有帮助，我可以查一下。

---

另一个想法 - 加载 sys.argv 并在将其传递给一个或多个解析器之前对其进行分区。您可以将其拆分为某个关键字或前缀等。

【讨论】：

谢谢。链接为第一号挑战提供了有用的答案。现在我可以对选项进行分组并将它们移动到单独的字典中

【参考方案2】：

如果您有这么多争论，这似乎是一个设计问题。这似乎非常难以管理。您不能使用具有合理默认设置的配置文件来实现这一点吗？或者代码中的默认值在命令行中使用合理（即小）数量的参数，并允许使用“键：值”配置文件中的参数覆盖所有内容或其他所有内容？我无法想象必须使用具有您提议的变量数量的 CLI。

【讨论】：

好吧，我已经有配置文件并且它们被成功使用了。这个想法是有能力从 CLI 覆盖这些值。很可能需要覆盖 10-15 个参数，但对这 10-15 个参数的选择可能来自整个可能的配置值集。仅供参考，完整的产品部署是 15-17 台主机，它们使用 Web 服务、2 个不同的数据库服务、2 个虚拟化后端，并以 5 种编程语言实现。可能是我错过了什么。

一个参数如何让您选择要使用的配置文件，然后将可覆盖的参数减少到最有可能进行更改的参数。

正如我所说，我已经有了配置文件的选项。实际上，其中有 3 个（现在是 2 个）- 具有默认值的文件和具有覆盖/环境特定变量的配置文件，具体取决于环境。然而，可以完成多个部署，链接到同一个环境，它们可以有几个或几十个不同的参数被覆盖。它是一个复杂的系统，有时过于复杂：D