hadoop入门之wordcount学习

Posted 2022-12-11 彭薄

   一天下班，看到一个公开课，一不下心就看到了半夜，讲的Hadoop特别生动易懂。后来我又找了一些资料学习了一下，先记录一下，更加深入的东西仍需投入时间学习和理解。

   假设输入为两个文件

  

   第一步：input

   InputFormat类将输入文件划分成多个splits,同时将这些splits转化为<K,V>的形式,如下，可以发现，当使用默认的TextInputFormat进行处理的时候，K为偏移量，V为每行的文本。

   第二步：map

   

   第三步shuffle：

   

   第四步：reduce

   

   第五步：output