wordCount程序设计思想

Posted 2023-02-14 山河执手

MapReduce经典案例wordCount的设计思想

Mapper阶段

1.我们将MapTask传给我们的文本内容先转换成一行字符串
2.根据空格对这一行进行分割，从而形成多个单词
3.通过for循环我们将得到一系列<单词，1>这样形式的中间结果
4.输出的中间结果将保存在内存的缓冲区中,而缓冲区的中间结果会被定期写到磁盘上。

Shuffle阶段

Shuffle阶段会对Map阶段产生的中间结果进行排序和分区，得到<key,value-list>的形式，分发给不同的ReduceTask。

Reducer阶段

1.ReduceTask接收到分配给自己的中间结果以后开始执行reduce()方法里的业务逻辑即汇总计算任务
2.首先汇总各个key的个数
3.然后就是输出该key的总次数

Driver阶段

提交封装MapReduce程序相关运行参数的job对象

代码：

public class WordCountMapper extends Mapper<LongWritable, Text,Text, IntWritable> 
    Text k = new Text();
    IntWritable v = new IntWritable(1);
    @Override
protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException 
//1.获取一行
        String line = value.toString();
        // 2 切割
        String[] words = line.split(" ");
        // 3 输出
        for (String word : words) 
            k.set(word);
            context.write(k, v);
        
    

public class WordCountReducer extends Reducer<Text, IntWritable, Text, IntWritable> 
    int sum;
    IntWritable v = new IntWritable();
    @Override
    protected void reduce(Text key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException 
        // 1 累加求和
        sum = 0;
        for (IntWritable count : values) 
            sum += count.get();
        
        // 2 输出
        v.set(sum);
        context.write(key,v);
    

public class WordCountDriver 
    public static void main(String[] args) throws Exception
        // 1 获取配置信息以及封装任务
        Configuration configuration = new Configuration();
        Job job = Job.getInstance(configuration);
        // 2 设置jar加载路径
        job.setJarByClass(WordCountDriver.class);
        // 3 设置map和reduce类
        job.setMapperClass(WordCountMapper.class);
        job.setReducerClass(WordCountReducer.class);
        // 4 设置map输出
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(IntWritable.class);
        // 5 设置最终输出kv类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(IntWritable.class);
        // 6 设置输入和输出路径
        //本地模式
        FileInputFormat.setInputPaths(job, new Path("/Users/liangyalong/Desktop/study_alarm/mr/input/hello.txt"));
        FileOutputFormat.setOutputPath(job, new Path("/Users/liangyalong/Desktop/study_alarm/mr/output"));
        //集群模式
//        FileInputFormat.setInputPaths(job, new Path(args[0]));
//        FileOutputFormat.setOutputPath(job, new Path(args[1]));
        // 7 提交
        boolean result = job.waitForCompletion(true);
        System.exit(result ? 0 : 1);