就地自定义对象使用 __getitem__ python 3.5 与 python 3.6 解包不同的行为

Posted 2023-03-13

【中文标题】就地自定义对象使用 __getitem__ python 3.5 与 python 3.6 解包不同的行为

【英文标题】：In-place custom object unpacking different behavior with __getitem__ python 3.5 vs python 3.6

【发布时间】：2018-10-27 07:33:28

【问题描述】：

this question 上的后续问题：我在 python 3.5 和 python 3.6 上运行了以下代码 - 结果非常不同：

class Container:

    KEYS = ('a', 'b', 'c')

    def __init__(self, a=None, b=None, c=None):
        self.a = a
        self.b = b
        self.c = c

    def keys(self):
        return Container.KEYS

    def __getitem__(self, key):
        if key not in Container.KEYS:
            raise KeyError(key)
        return getattr(self, key)

    def __str__(self):
        # python 3.6
        # return f'self.__class__.__name__(a=self.a, b=self.b, c=self.c)'
        # python 3.5    
        return ('self.__class__.__name__(a=self.a, b=self.b, '
                'c=self.c)').format(self=self)

data0 = Container(a=1, b=2, c=3)
print(data0)

data3 = Container(**data0, b=7)
print(data3)

如上一个问题所述，这引发了

TypeError: type object got multiple values for keyword argument 'b'

在 python 3.6 上。但是在 python 3.5 上我得到了异常：

密钥错误：0

此外，如果我不提出KeyError，而只是在__getitem__ 中打印出key 和return：

def __getitem__(self, key):
    if key not in Container.KEYS:
        # raise KeyError(key)
        print(key)
        return
    return getattr(self, key)

这将打印出int 序列0, 1, 2, 3, 4, ...。 (python 3.5)

所以我的问题是：

版本之间发生了哪些变化，导致其行为如此不同？

这些整数从何而来？

---

更新：正如λuser 的评论中所述：实现__iter__ 将改变python 3.5 上的行为以匹配python 3.6 的行为：

def __iter__(self):
    return iter(Container.KEYS)

【问题讨论】：

我认为你的实现缺少方法__iter__（返回键）和__len__，然后从collections.abc.Mapping继承，你应该设置。我猜 Python 不知道键是什么，因为你没有实现 __iter__，所以它在 python 3.5 中尝试了一些数字。

@λuser ：你是对的！在这种情况下，只需实现 __iter__ 就足够了。问题仍然存在......

【参考方案1】：

这实际上是在解包自定义映射对象和创建调用者参数期间多个内部操作之间的复杂冲突。因此，如果您想彻底了解根本原因，我建议您查看源代码。不过，这里有一些提示和起点，您可以查看更多详细信息。

在内部，当您在调用者级别解包时，字节码 BUILD_MAP_UNPACK_WITH_CALL(count) 从堆栈中弹出 count 个映射，将它们合并到单个字典中并推送结果。另一方面，这个带有参数opargis defined as following的操作码的堆栈效果：

case BUILD_MAP_UNPACK_WITH_CALL:
    return 1 - oparg;

话虽如此，让我们看一下示例的字节码（在 Python-3.5 中）以了解其实际效果：

>>> def bar(data0):foo(**data0, b=4)
... 
>>> 
>>> dis.dis(bar)
  1           0 LOAD_GLOBAL              0 (foo)
              3 LOAD_FAST                0 (data0)
              6 LOAD_CONST               1 ('b')
              9 LOAD_CONST               2 (4)
             12 BUILD_MAP                1
             15 BUILD_MAP_UNPACK_WITH_CALL   258
             18 CALL_FUNCTION_KW         0 (0 positional, 0 keyword pair)
             21 POP_TOP
             22 LOAD_CONST               0 (None)
             25 RETURN_VALUE
>>> 

如您所见，在偏移量 15 处，我们有 BUILD_MAP_UNPACK_WITH_CALL 字节码负责解包。

现在它返回 0 作为__getitem__ 方法的key 参数会发生什么？

每当解释器在解包过程中遇到异常时，在本例中为KeyError，它会停止继续推送/弹出流程，而不是返回变量的实际值，而是返回堆栈效果，这就是为什么关键一开始是 0，如果每次得到递增结果时都不处理异常（由于堆栈大小）。

现在，如果您在 Python-3.6 中进行相同的反汇编，您将得到以下结果：

>>> dis.dis(bar)
  1           0 LOAD_GLOBAL              0 (foo)
              2 BUILD_TUPLE              0
              4 LOAD_FAST                0 (data0)
              6 LOAD_CONST               1 ('b')
              8 LOAD_CONST               2 (4)
             10 BUILD_MAP                1
             12 BUILD_MAP_UNPACK_WITH_CALL     2
             14 CALL_FUNCTION_EX         1
             16 POP_TOP
             18 LOAD_CONST               0 (None)
             20 RETURN_VALUE

在创建局部变量之前 (LOAD_FAST) 和 LOAD_GLOBAL 之后有一个 BUILD_TUPLE，它负责创建一个元组并从堆栈中消耗计数项。

BUILD_TUPLE（计数）

从堆栈中创建一个消耗计数项的元组，并将>结果元组推入堆栈。

这就是，IMO，为什么您没有收到关键错误，而是收到TypeError。因为在创建参数元组的过程中遇到了重复的名称，因此正确地返回了TypeError。