如何使用 PyYAML 读取 python 元组？

Posted 2023-02-26

【中文标题】如何使用 PyYAML 读取 python 元组？

【英文标题】：How to read a python tuple using PyYAML?

【发布时间】：2017-01-25 22:52:29

【问题描述】：

我有一个名为 input.yaml 的 YAML 文件：

cities:
  1: [0,0]
  2: [4,0]
  3: [0,4]
  4: [4,4]
  5: [2,2]
  6: [6,2]
highways:
  - [1,2]
  - [1,3]
  - [1,5]
  - [2,4]
  - [3,4]
  - [5,4]
start: 1
end: 4

我正在使用 PyYAML 加载它并打印结果如下：

import yaml

f = open("input.yaml", "r")
data = yaml.load(f)
f.close()

print(data)

结果是如下数据结构：

 'cities':  1: [0, 0]
            , 2: [4, 0]
            , 3: [0, 4]
            , 4: [4, 4]
            , 5: [2, 2]
            , 6: [6, 2]
            
, 'highways': [ [1, 2]
              , [1, 3]
              , [1, 5]
              , [2, 4]
              , [3, 4]
              , [5, 4]
              ]
, 'start': 1
, 'end': 4

如您所见，每个城市和高速公路都表示为一个列表。但是，我希望它们被表示为一个元组。因此，我使用推导手动将它们转换为元组：

import yaml

f = open("input.yaml", "r")
data = yaml.load(f)
f.close()

data["cities"] = k: tuple(v) for k, v in data["cities"].items()
data["highways"] = [tuple(v) for v in data["highways"]]

print(data)

但是，这似乎是一个 hack。有什么方法可以指示 PyYAML 直接将它们读取为元组而不是列表？

【参考方案1】：

我遇到了与问题相同的问题，我对这两个答案不太满意。在浏览我发现的 pyyaml 文档时 真的有两个有趣的方法yaml.add_constructor 和yaml.add_implicit_resolver。

隐式解析器通过将字符串与正则表达式匹配，解决了必须用!!python/tuple 标记所有条目的问题。我也想使用元组语法，所以写 tuple: (10,120) 而不是写一个列表 tuple: [10,120] 然后得到 转换成元组，我个人觉得很烦人。我也不想安装外部库。代码如下：

import yaml
import re

# this is to convert the string written as a tuple into a python tuple
def yml_tuple_constructor(loader, node): 
    # this little parse is really just for what I needed, feel free to change it!                                                                                            
    def parse_tup_el(el):                                                                                                            
        # try to convert into int or float else keep the string                                                                      
        if el.isdigit():                                                                                                             
            return int(el)                                                                                                           
        try:                                                                                                                         
            return float(el)                                                                                                         
        except ValueError:                                                                                                           
            return el                                                                                                                

    value = loader.construct_scalar(node)                                                                                            
    # remove the ( ) from the string                                                                                                 
    tup_elements = value[1:-1].split(',')                                                                                            
    # remove the last element if the tuple was written as (x,b,)                                                                     
    if tup_elements[-1] == '':                                                                                                       
        tup_elements.pop(-1)                                                                                                         
    tup = tuple(map(parse_tup_el, tup_elements))                                                                                     
    return tup                                                                                                                       

# !tuple is my own tag name, I think you could choose anything you want                                                                                                                                   
yaml.add_constructor(u'!tuple', yml_tuple_constructor)
# this is to spot the strings written as tuple in the yaml                                                                               
yaml.add_implicit_resolver(u'!tuple', re.compile(r"\(([^,\W],,),[^,\W]*\)")) 

最后通过执行这个：

>>> yml = yaml.load("""
   ...: cities:
   ...:   1: (0,0)
   ...:   2: (4,0)
   ...:   3: (0,4)
   ...:   4: (4,4)
   ...:   5: (2,2)
   ...:   6: (6,2)
   ...: highways:
   ...:   - (1,2)
   ...:   - (1,3)
   ...:   - (1,5)
   ...:   - (2,4)
   ...:   - (3,4)
   ...:   - (5,4)
   ...: start: 1
   ...: end: 4""")
>>>  yml['cities']
1: (0, 0), 2: (4, 0), 3: (0, 4), 4: (4, 4), 5: (2, 2), 6: (6, 2)
>>> yml['highways']
[(1, 2), (1, 3), (1, 5), (2, 4), (3, 4), (5, 4)]

与我没有测试过的load 相比，save_load 可能存在潜在缺陷。

【讨论】：

这仅适用于最简单的元组，因为 OP 用作示例。使用标记序列的元组允许您将元组嵌套在元组中，在这些元组中使用别名（或定义锚点）。你的代码无法处理这个问题，如果你想使用像布尔值这样简单的东西，你甚至需要更改你的代码。

【参考方案2】：

根据您的 YAML 输入来自“hack”的位置是一个很好的解决方案，特别是如果您使用 yaml.safe_load() 而不是不安全的 yaml.load()。如果您的 YAML 文件中只有“叶”序列需要是元组，您可以这样做 ¹：

import pprint
import ruamel.yaml
from ruamel.yaml.constructor import SafeConstructor


def construct_yaml_tuple(self, node):
    seq = self.construct_sequence(node)
    # only make "leaf sequences" into tuples, you can add dict 
    # and other types as necessary
    if seq and isinstance(seq[0], (list, tuple)):
        return seq
    return tuple(seq)

SafeConstructor.add_constructor(
    u'tag:yaml.org,2002:seq',
    construct_yaml_tuple)

with open('input.yaml') as fp:
    data = ruamel.yaml.safe_load(fp)
pprint.pprint(data, width=24)

哪个打印：

'cities': 1: (0, 0),
            2: (4, 0),
            3: (0, 4),
            4: (4, 4),
            5: (2, 2),
            6: (6, 2),
 'end': 4,
 'highways': [(1, 2),
              (1, 3),
              (1, 5),
              (2, 4),
              (3, 4),
              (5, 4)],
 'start': 1

如果您随后需要处理更多序列需要再次成为“正常”列表的材料，请使用：

SafeConstructor.add_constructor(
    u'tag:yaml.org,2002:seq',
    SafeConstructor.construct_yaml_seq)

---

¹ _{这是使用 ruamel.yaml 一个 YAML 1.2 解析器完成的，我是它的作者。如果您只需要支持 YAML 1.1 和/或由于某种原因无法升级，您应该能够对旧的 PyYAML 做同样的事情}

【讨论】：

不幸的是，我需要 highways 是一个元组列表，而不是一个元组的元组。尽管如此，使用safe_load 而不是load 是一个很好的建议。谢谢。

糟糕，我错过了，我通过使元组构造函数检查第一个序列元素而不将其转换为元组（如果这是一个列表）来修复它。您当然可以对其进行微调（检查所有元素，检查字典等）。

【参考方案3】：

我不会把你所做的事情称为你想要做的事情。根据我的理解，您的替代方法是在您的 YAML 文件中使用特定于 python 的标签，以便在加载 yaml 文件时适当地表示它。但是，这需要您修改 yaml 文件，如果该文件很大，可能会非常烦人且不理想。

查看进一步说明这一点的PyYaml doc。最终，您希望在您想要表示的结构前面放置一个!!python/tuple。要获取您的样本数据，它会：

YAML 文件：

cities:
  1: !!python/tuple [0,0]
  2: !!python/tuple [4,0]
  3: !!python/tuple [0,4]
  4: !!python/tuple [4,4]
  5: !!python/tuple [2,2]
  6: !!python/tuple [6,2]
highways:
  - !!python/tuple [1,2]
  - !!python/tuple [1,3]
  - !!python/tuple [1,5]
  - !!python/tuple [2,4]
  - !!python/tuple [3,4]
  - !!python/tuple [5,4]
start: 1
end: 4

示例代码：

import yaml

with open('y.yaml') as f:
    d = yaml.load(f.read())

print(d)

将输出：

'cities': 1: (0, 0), 2: (4, 0), 3: (0, 4), 4: (4, 4), 5: (2, 2), 6: (6, 2), 'start': 1, 'end': 4, 'highways': [(1, 2), (1, 3), (1, 5), (2, 4), (3, 4), (5, 4)]

【讨论】：

IMO 与标签的最大问题是，它们通过load() 强制您使用不安全的Constructor，并且不能再通过safe_load() 使用SafeConstructor。

确实，我认为没有更好的方法来完成我想做的事情。