Pydoop mapreduce“AttributeError：module'wordcount_minimal'没有属性'__main__'”

Posted 2021-04-20

我安装了Pydoop，我正在尝试运行MapReduce工作。为了做一个干运行，我尝试执行单词计数示例wordcount_minimal.py和wordcount_full.py。它们都挂在地图阶段。在stderr的最后，我根据我运行的脚本找到了这条消息：

模块'wordcount_minimal'没有属性'main'

要么

模块'wordcount_full'没有属性'main'

我使用命令执行了该作业：

pydoop submit --upload-file-to-cache wordcount_full.py wordcount_full hdfs_input_dir hdfs_output_dir

无法找到背后的原因。任何想法可能是什么原因？

我能够使用pydoop script和map函数从reduce执行示例，并且它已成功完成。但是使用pydoop submit选项，我有这个问题。不确定我是否遗漏了什么。

PS：我有一个运行Hortonworks HDP 2.6.5的2个节点的集群。 Pydoop安装在它们上面。

答案

默认情况下，pydoop submit需要一个名为__main__的入口点，但您可以通过--entry-point修改它。例如，如果您的代码是：

class Mapper ...
class Reducer ...
def run():
    pipes.run_task(pipes.Factory(Mapper, Reducer))

你可以通过pydoop submit --entry-point run ...运行它