哪些类似 python deque 的容器在突变期间保留有效的迭代器？

Posted 2023-02-21

【中文标题】哪些类似 python deque 的容器在突变期间保留有效的迭代器？

【英文标题】：What python deque-like containers retain valid iterators during mutation?

【发布时间】：2021-12-10 14:35:59

【问题描述】：

我看到here 如果我想在改变数据结构的同时保留有效的迭代器，那么 collections.deque 不是一个很好的选择。 python的stdlib中是否有任何数据结构在支持这两个操作的同时保留有效的迭代器：

append - 在 O(1) 摊销中将一些内容附加到容器的末尾 popleft - 在 O(1) 摊销中从容器的开头弹出一些东西

我为什么想要这样的东西？

考虑一个生成数据流的类。有多个消费者在此类上调用 __iter__ 以获取迭代器以按顺序使用数据。为简单起见，假设__iter__ 调用发生在任何__next__ 调用之前。

假设流足够大，可以超出合理的内存限制。一个合理的做法是使用双端队列，这样当迭代器位于双端队列的末尾时，我们会阻塞以等待新数据并append 它。当所有迭代器都访问过一个元素时，我们不再需要将它保存在内存中，所以我们popleft。

C++ 中的std::deque 实现使用缓冲区的循环列表，并允许我们在这两个操作上拥有有效的迭代器。 python中也有这样的东西吗？

【参考方案1】：

itertools.tee 专为您的用例而设计。在内部，它使用指向共享 FIFO 队列的迭代器，但数据结构在 tee 实现内部（至少在 CPython 中是用 C 编写的）。

您必须将原始可迭代对象传递给tee 一次，并且永远不要再次使用它。但是您不必预先创建所有 tee 迭代器；您可以将现有迭代器传递给 copy.copy 以获取另一个共享相同内部 FIFO 缓冲区的迭代器。

在tee 之上使用迭代器（您的实际问题）实现一个FIFO 队列可能是可能的，但这很棘手，部分原因是迭代器接口指定在StopIteration 被提升后不再出现任何值，而典型的 FIFO 在弹出失败后仍然可以使用。

【讨论】：

问题指出容器应该是可修改的，所以这对于tee 来说并不是一个很好的用例——一旦拆分了可迭代对象，就不应再次使用它。 （见documentation）

@sj95126 我添加了一段关于正确使用的段落。