与 C++ unordered_map 的并行性

Posted 2023-02-17

【中文标题】与 C++ unordered_map 的并行性

【英文标题】：Parallelism with C++ unordered_map

【发布时间】：2015-07-10 19:28:55

【问题描述】：

我有一个 std::unordered_map<std::string, int64_t> sMap 类型的 unordered_map。这包含许多字符串和与每个字符串相关的“权重”。我想找到权重最大的字符串。

如果我想使用单个线程来执行此操作，我想我可以创建一个像这样的对的优先级队列

std::priority_queue<
    std::pair<std::string, int64_t>,
    std::vector<std::pair<std::string, int64_t>>,
    std::function<bool(std::pair<std::string, int64_t>&,
            std::pair<std::string, int64_t>&)>> prQ(comparePair);

只需遍历整个 unordered_map，在保持长度 N 的同时将元素插入 prQ。

我想使用多线程来达到同样的效果。我正在考虑分配每个线程处理 unordered_map 的一些元素，以创建一个长度为 N 的本地优先级队列，该队列最后可以合并到一个全局优先级队列中。

我现在面临的问题是我从 unordered_map::begin() 获得的迭代器不适用于 + 运算符。至少这是我得到的错误： error: no match for ‘operator+’ (operand types are ‘std::unordered_map<std::basic_string<char>, long int>::iterator aka std::__detail::_Node_iterator<std::pair<const std::b asic_string<char>, long int>, false, true>’ and ‘int’) 因此，我无法真正指定特定线程要处理的元素范围。 [] 运算符将按预期获取键而不是偏移量。

基本上，我似乎无法找到一种方法来建立一个数据并行循环，该循环只能处理每个线程的几个元素。那么如何使用多线程来解决这个问题呢？

编辑：@Brian Vandberg 要求我提供一个简化的代码示例，该示例会生成我所说的错误。

std::unordered_map<std::string, int64_t> sMap;
//Initialize sMap values
int start = 0, end = 2;
for(auto i = sMap.begin() + start; sMap.begin() + end; ++i) 
    std::cout<<i->first<<"\t"<<i->second<<"\n";

【问题讨论】：

你在找std::advance

您可能需要提供一个简化的生成错误的代码示例。

@BrianVandenberg 我已经用简化的代码更新了我的帖子。

@LokiAstari 我还不知道，但我会调查一下。谢谢！

地图/无序地图不像向量。没有隐含的顺序。根据您要执行的操作，最直观的 operator+ 行为定义可能是“迭代 n 次，然后返回迭代器”......但是，如果我不得不猜测他们没有实现 operator+对于 map/unordered map 迭代器，因为他们不希望用户开始将其视为一组事物，而不是 无序 事物集合。

【参考方案1】：

首先，我不确定我是否会针对这个问题使用优先级队列（单线程，或者作为由特定线程执行的部分）。标准库有nth_element，你可以用它在线性时间内找到第n个元素。之后，找出哪些元素更大也是线性时间。

如果速度是问题，您可能会考虑这一点，如果大小是问题，您可能会考虑这一点（nth_element 将有效地强制您创建数据的副本）。在此解决方案中，您迭代地图（或其中的一部分），并且 push_back 仅将权重放入 vector，在其上执行 nth_element。在第二阶段，再次在地图上循环，选择权重较高的那些。

---

假设你有循环：

std::size_t j = 0;
for(const auto &e: sMap)

    if(++j % k != i)
        continue;
    // Rest of code goes here.

然后，如果您将它用于 k 中的第 i 个线程，它将在线程之间划分元素。此外，虽然所有线程都在迭代相同的元素（如果只是跳过其中的大部分），它是并行发生的。

---

每个线程可以为最大的m个元素生成它的候选元素，然后使用上面的方法从km个候选元素中选择最大的m个元素（使用nth_element）或任何其他方法。

有趣的是，sMap 的大小将在实践中产生任何加速。

【讨论】：

谢谢！我会试试这个。我不确定第 n 个元素的原因是因为我认为要求是我应该将随机访问迭代器传递给函数。 unordered_map 没有这个，因为它没有顺序。

我认为目的是使用nth_element 和vector（或可能deque）代替您的priority_queue，而不是代替您的unordered_map。 （不过我不确定它是如何工作的。）

@user19448 celticminstrel 是正确的。请参阅第一部分的更新。 （请注意，无论如何，第 2 部分和第 3 部分都是正交的。）

您提到的两种方法都应该非常适合我的问题陈述。感谢您的回复。