理解MapReduce

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了理解MapReduce相关的知识,希望对你有一定的参考价值。

 

1. 用Python编写WordCount程序并提交任务

程序

WordCount

输入

一个包含大量单词的文本文件

输出

文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔

  1. 编写map函数,reduce函数
     # map函数
    import sys
    for i in stdin:
         i = i.strip()
         words = i.split()
         for word in words:
             print \'%s\\t%s\' % (word,1)
    #reduce函数
    from operator import itemgetter
    import sys
     
    current_word = None
    current_count = 0
    word = None
     
    for line in sys.stdin:
        line = line.strip()
        word, count = line.split(\'\\t\', 1)
        try:
            count = int(count)
        except ValueError: 
            continue
        if current_word == word:
            current_count += count
        else:
            if current_word:
                print "%s\\t%s" % (current_word, current_count)
            current_count = count
            current_word = word
     
    if word == current_word: 
        print "%s\\t%s" % (current_word, current_count)
  2. 将其权限作出相应修改
    chmod a+x /home/hadoop/mapper.py
    chmod a+x /home/hadoop/wc/reducer.py
  3. 本机上测试运行代码
    echo "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.py
    echo "foo foo quux labs foo bar quux" | /home/hadoop/wc/mapper.py | sort -k1,1 | /home/hadoop/wc/reducer.p

  4. 放到HDFS上运行
    1. 将之前爬取的文本文件上传到hdfs上
    2. 用Hadoop Streaming命令提交任务
  5. 查看运行结果

 

 

2. 用mapreduce 处理气象数据集

编写程序求每日最高最低气温,区间最高最低气温

  1. 气象数据集下载地址为:ftp://ftp.ncdc.noaa.gov/pub/data/noaa
  2. 按学号后三位下载不同年份月份的数据(例如201506110136号同学,就下载2013年以6开头的数据,看具体数据情况稍有变通)

     

  3. 解压数据集,并保存在文本文件中

     

  4. 对气象数据格式进行解析
  5. 编写map函数,reduce函数

     

  6. 将其权限作出相应修改
    chmod a+x /home/hadoop/mapper.py
    chmod a+x /home/hadoop/wc/reducer.py
  7. 本机上测试运行代码
  8. 放到HDFS上运行
    1. 将之前爬取的文本文件上传到hdfs上

       

    2. 用Hadoop Streaming命令提交任务

       

  9. 查看运行结果

以上是关于理解MapReduce的主要内容,如果未能解决你的问题,请参考以下文章

理解MapReduce计算构架

理解MapReduce计算构架

理解MapReduce

理解MapReduce

理解MapReduce

理解Mapreduce