在ubuntu上安装eclipse同时连接hadoop运行wordcount程序

Posted 2020-06-29

　　起先我是在win7 64位上远程连接hadoop运行wordcount程序的，但是这总是需要网络，考虑到这一情况，我决定将这个环境转移到unbuntu上

　　需要准备的东西

　　一个hadoop的jar包，一个连接eclipse的插件（在解压的jar包里有这个东西），一个hadoop-core-*.jar（考虑到连接的权限问题）

　　一个eclipse的.tar.gz包（其它类型的包也可以，eclipse本身就是不需要安装的，这里就不多说了）

　　因为我之前在win7上搭建过这个环境，所以一切很顺利，但还是要在这里记录一下

　　1，把插件拷贝到eclipse的plugins目录下面，会出现如下所示的图标,同时将hadoop-core-*.jar拷贝到hadoop的安装目录下面

　　

这里要说一点hadoop-core-*.jar这个jar包中的FileUtil类限制了权限，要反编译，进行修改，然后重新编译成这个jar包，可以使用反编译工具

这里我并没有尝试，是直接从网上下载的修改过后的jar包

　　2，在eclipse中配置hadoop的安装位置

　　

　　3，在eclipse中配置mapreduce

　　

 　　我发现9001这个端口配不配，DFS都可以连接成功，但最好配置一下吧

　　ubuntu1是我运行hadoop的主机名，这里也可以换成ip地址来替代，

　　开启hadoop之后可以进行刷新，如图所示

 　4，接下来就可以运行wordcount程序了，网上有好多例子，这里，我只想说两点，注意参数，例如

　　hdfs://192.168.1.200:9000/feng/hello.txt hdfs://192.168.1.200:9000/feng_out

　　注意输出目录一定是不存在的，如果存在会报错的

　　起先我没有加前面的ip地址，一直报错，我在网上查了一下，以为是用户权限不够的问题，就提高普通用户的权限，后来发现不是，是地址的问题

　　若有错误，欢迎指正