mr编程快捷键活用技巧详解

Posted 2020-08-06 大数据和人工智能躺过的坑

　

　　不多说，直接上干货！

 

 

　1、Shift + Alt + S

　　

 

　　

 

　　

 

　　

 

　　

 

　　Hadoop没有使用jdk自带的默认序列化机制。

　　现在呢，hadoop-2.*里有两套序列化机制。一个是自己hadoop的序列化机制，一个是谷歌的。

　　所以，要改为。。

　　

 

　　

 

　　

 

 

　*********=======>　reduce

　　

 

　　

 

　　

 

　　

 

　　

 

　　把前面一大串，去掉，就不出错了。因为接口里没这样写全。

 　　

 

　　为什么v2s是集合，因为。它是一个迭代器，你看。迭代器里，前面，放的是什么类型，后面，迭代的是谁。

　　

 

 　　

 　　*********=======>Job

　　把mapreduce作业，抽象成job对象。然而，到此步，现在，我们需要提交mapreduce作业，那么，以后，我们提交job对象就可以了是吧。但是，我们有没有我们自定义的map和reduce啊。没有很明显。那么我们需要组装起来，才可以达到目的。

　　所以，就有了如下等代码的存在。先后顺序没关系，Map相当于搬砖，reduce相当于砌墙。

　　　

 

　　　　到此，我已经把mapreduce作业，抽象成job对象，自定的map和自定义的reduce，组装起来了。最后一行是作业的属性，True，是在执行的过程中，打印进度和详情。

　======》  若是在eclipse或myeclipse里，插入了插件（自行还需要配置），就可以不需指明在哪个hadoop集群下了。

　　　

Eclipse/MyEclipse按任何键，都可以提示?（最强帮手）

Eclipse/MyEclipse如何快速提取变量（最强帮手）

　　　

 

 

 

 

 

 

欢迎大家，加入我的微信公众号：大数据躺过的坑        人工智能躺过的坑

 

 

 

同时，大家可以关注我的个人博客：

   http://www.cnblogs.com/zlslch/   和     http://www.cnblogs.com/lchzls/      http://www.cnblogs.com/sunnyDream/   

   详情请见：http://www.cnblogs.com/zlslch/p/7473861.html

 

　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。
　　目前研究领域：大数据、机器学习、深度学习、人工智能、数据挖掘、数据分析。 语言涉及：Java、Scala、Python、Shell、Linux等 。同时还涉及平常所使用的手机、电脑和互联网上的使用技巧、问题和实用软件。 只要你一直关注和呆在群里，每天必须有收获

 

      对应本平台的讨论和答疑QQ群：大数据和人工智能躺过的坑（总群）（161156071）