使用 PyYAML 库解析 AWS CloudFormation 模板

Posted 2023-02-26

【中文标题】使用 PyYAML 库解析 AWS CloudFormation 模板

【英文标题】：Parse an AWS CloudFormation template with the PyYAML library

【发布时间】：2018-11-27 14:12:40

【问题描述】：

我正在使用需要读取 AWS CloudFormation YAML 模板的 PyYAML 库编写自定义 Python 应用程序。

我知道这些模板是有效的 CloudFormation 模板，因为我使用 validate-template 对其进行了测试：

▶ aws cloudformation validate-template --template-body file://cloudformation.yml

但是，当我尝试使用 PyYAML 库读取它们时，我收到如下错误：

yaml.scanner.ScannerError: 此处不允许映射值

和

无法确定标签“!Sub”的构造函数

和其他人。

举个例子，我试试这个 AWS 示例模板：

▶ curl -s \
    https://raw.githubusercontent.com/awslabs/aws-cloudformation-templates/master/aws/services/CloudFormation/FindInMap_Inside_Sub.yaml \
    -o FindInMap_Inside_Sub.yaml

然后：

▶ python
Python 2.7.15 (default, Nov 27 2018, 21:40:55) 
[GCC 4.2.1 Compatible Apple LLVM 10.0.0 (clang-1000.11.45.5)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import yaml
>>> yaml.load(open('FindInMap_Inside_Sub.yaml'))

这会导致：

yaml.constructor.ConstructorError: could not determine a constructor for the tag '!FindInMap'
  in "FindInMap_Inside_Sub.yaml", line 89, column 45

如何使用 PyYAML 等库或其他库解析 CloudFormation YAML 文件？

【参考方案1】：

可以使用aws-cfn-template-flip 项目附带的cfn_tools 库。

安装库：

▶ pip install cfn_flip

那么在模板中读取的最简单的 Python 可能是：

#!/usr/bin/env python
  
import yaml
from cfn_tools import load_yaml, dump_yaml

text = open('./FindInMap_Inside_Sub.yaml').read()
data = load_yaml(text)

print(dump_yaml(data))

这个库并没有真正记录在案，但其中也有各种方法可以自定义输出的格式，值得探索。

【参考方案2】：

Alex's answer 遇到了一些问题，因为它会自动将我的 CF 模板转换为长格式。因此，任何!Ref Thing 调用都被转换为字典映射。

如果您想匹配 input.template 文件的原始输入，请使用：

from cfn_tools import load_yaml
import cfn_flip.yaml_dumper
import yaml


with open('input.template') as f:
    raw = f.read()
    data_dict = load_yaml(raw)

with open('output.template', 'w') as f:
    dumper = cfn_flip.yaml_dumper.get_dumper(clean_up=False, long_form=False)
    raw = yaml.dump(
        data_dict,
        Dumper=dumper,
        default_flow_style=False,
        allow_unicode=True
    )
    f.write(raw)

您还可以将clean_up=False 更改为True 以执行一些智能格式化，这在我的情况下效果很好。

我在运行 cfn cli 工具并在我的模板上看到正确的短格式输出后发现了这一点。然后我用that main file作为参考，按照代码路径走。

【讨论】：

谢谢！你会碰巧知道如何将构造函数的变量保持在同一行吗？例如，即使使用了它，我仍然没有得到我想要的结果：- !FindInMap [PrivateLink, EndPoint, SubnetId1]。相反，我得到- !FindInMap，然后它删除一行并传递其余变量- PrivateLink - EndPoint - SubnetId1

这两件事在功能上应该是等效的@Daniel，在 cloudformation yaml 中，这两种方式都被视为列表。但不，我不知道有什么办法。但我不会费心去调查，因为它只是风格

【参考方案3】：

他们的 aws-cfn-template-flip 项目将 cfn 模板转换为/从 json 和 yaml 是一个很好的起点。 示例查看yaml_loader.py 脚本。 它显示了它是如何添加 yaml 构造函数的。 在底部，您会看到：

CfnYamlLoader.add_constructor(TAG_MAP, construct_mapping)
CfnYamlLoader.add_multi_constructor("!", multi_constructor)

您可能会对那里的construct_mapping 方法感兴趣。从那里，您可以查看代码是如何工作的。

【讨论】：

非常感谢您提供这些信息。我为我的具体问题找到了另一种解决方法，但它们可能会帮助我解决其他自动化问题。

事实上，我真正要做的是找到一个解决方案，让 AWS cfn 模板参数覆盖 AWS Service Catalog 中的无服务器应用程序部署（工件和程序包），通过我使用 aws Management 和 CI 设置的基础设施系统/CD 工具。我最终决定使用 AWS Systems Manager Parameter Store 将基础设施与配置和参数分开。但是我会使用你在另一个阶段指出的这些工具，我打算写一篇关于我所做的事情以及确切遇到的问题的完整文章......

那篇文章在哪里；）？