运行 python mrjob 字数统计示例时出错

Posted

技术标签:

【中文标题】运行 python mrjob 字数统计示例时出错【英文标题】:Error running python mrjob word count example 【发布时间】:2012-07-10 11:49:39 【问题描述】:

我正在尝试使用mrjob 运行示例字数映射减少任务。我收到以下错误:

Traceback (most recent call last):
  File "mr.py", line 3, in <module>
    from mrjob.job import MRJob
  File "/Library/Frameworks/EPD64.framework/Versions/7.2/lib/python2.7/site-packages/mrjob-0.4_dev-py2.7.egg/mrjob/job.py", line 39, in <module>
    from mrjob.launch import MRJobLauncher
  File "/Library/Frameworks/EPD64.framework/Versions/7.2/lib/python2.7/site-packages/mrjob-0.4_dev-py2.7.egg/mrjob/launch.py", line 32, in <module>
    from mrjob.options import add_basic_opts
  File "/Library/Frameworks/EPD64.framework/Versions/7.2/lib/python2.7/site-packages/mrjob-0.4_dev-py2.7.egg/mrjob/options.py", line 22, in <module>
    from mrjob.runner import CLEANUP_CHOICES
  File "/Library/Frameworks/EPD64.framework/Versions/7.2/lib/python2.7/site-packages/mrjob-0.4_dev-py2.7.egg/mrjob/runner.py", line 49, in <module>
    from mrjob.fs.local import LocalFilesystem
ImportError: No module named fs.local

【问题讨论】:

【参考方案1】:

我是维护者之一。下次遇到此类问题时,您应该在 Github 上开一张票。我们根本不看 Stack Overflow。

我们使用 master 分支进行开发。 PyPI 中的标记版本和文件是稳定的。

请查看此票并回答任何其他问题。 https://github.com/Yelp/mrjob/issues/513

【讨论】:

【参考方案2】:

我也有这个确切的错误。您是否像我最初那样直接从 Git 存储库中克隆了 mrjob?如果是这样,请尝试使用对我有用的tagged 版本之一,例如v0.3.4.1。

【讨论】:

以上是关于运行 python mrjob 字数统计示例时出错的主要内容,如果未能解决你的问题,请参考以下文章

2.9 MRJob编写和运行MapReduce

hadoop 模式下的 Mrjob:启动作业时出错,输入路径错误:文件不存在

MapReduce 实战

使用 python MRJob 在 EMR 上引导库

在 MRJob 中运行步骤之前将 S3 数据加载到 HDFS 的特定语法示例是啥?

在 emr 上运行 mrjob 脚本的 ssh 密钥无效