2.9 MRJob编写和运行MapReduce

Posted 2022-03-29 炫云云

文章目录

• mrjob
• • mrjob 简介
  • mrjob 安装
  • mrjob实现WordCount
• 运行MRJOB的不同方式
• • mrjob 实现 topN统计
  • 参考

mrjob

mrjob 简介

• 使用python开发在Hadoop上运行的程序, mrjob是最简单的方式
• mrjob程序可以在本地测试运行也可以部署到Hadoop集群上运行
• 如果不想成为hadoop专家, 但是需要利用Hadoop写MapReduce代码,mrJob是很好的选择

mrjob 安装

• 使用pip安装
  • pip install mrjob

mrjob实现WordCount

from mrjob.job import MRJob