在 BDB 中并行查找多个文件的值
Posted
技术标签:
【中文标题】在 BDB 中并行查找多个文件的值【英文标题】:Look up values in a BDB for several files in parallel 【发布时间】:2009-09-15 17:03:20 【问题描述】:的最有效方法是什么?如果我有一个 Perl 脚本一次只为一个文件执行此操作,那么在 Linux 中使用 & 符号在后台分叉/运行该进程是否有效?
如何使用 Hadoop 来解决这个问题?
线程是另一种解决方案吗?
【问题讨论】:
【参考方案1】:Hadoop 与这种情况完全无关。 Hadoop 是一个用于在计算机集群上并行化大型计算任务的系统,而不是用于在单个节点上并行化短期查找。
如果我理解正确,您希望 Perl 在多个 BDB 文件中并行查找一个值。这最好通过为您的 bdb 调用提供一个回调句柄来完成,该句柄将在请求完成时执行。线程将在 C 层完成,比在 Perl 中手动执行要高效得多。
积木:
BDB:http://metacpan.org/pod/BDB
Coro::BDB: http://metacpan.org/pod/Coro::BDB
任何事件:http://metacpan.org/pod/AnyEvent
【讨论】:
以上是关于在 BDB 中并行查找多个文件的值的主要内容,如果未能解决你的问题,请参考以下文章