windows下在eclipse上远程连接hadoop集群调试mapreduce错误记录

Posted 2020-09-25 渚之汐酱

第一次跑mapreduce，记录遇到的几个问题，hadoop集群是CDH版本的，但我windows本地的jar包是直接用hadoop2.6.0的版本，并没有特意找CDH版本的

1.Exception in thread "main" java.lang.NullPointerException atjava.lang.ProcessBuilder.start

下载Hadoop2以上版本时，在Hadoop2的bin目录下没有winutils.exe和hadoop.dll，网上找到对应版本的这两个文件后，放到hadoop的bin下面，并在环境变量里加上HADOOP_HOME和在path里加上%HADOOP_HOME%/bin,重启电脑后再运行就没这个问题了。

2.atorg.apache.hadoop.io.nativeio.NativeIO$Windows.access(NativeIO.java:557)

下载hadoop-2.6.0-src.tar后解压，找到hadoop-2.6.0-src\\hadoop-common-project\\hadoop-common\\src\\main\\java\\org\\apache\\hadoop\\io\\nativeio下NativeIO.java复制到工程里面，包的路径为org.apache.hadoop.io.nativeio，然后更改第557行为return true。如图：

3.运行结果未报错，只是运行结果为false，查看hadoop的激活节点日志发现报错：PartialGroupNameException The user name \'ushio\' is not found. id: ushio: No such user

在环境变量里添加HADOOP_USER_NAME变量，值为正确有权限执行hadoop的用户名，cloudera manager安装的cdh版本的hadoop的话，值可为hdfs，重启电脑后就正常运行了。

 

在下面这个网页找到解决方案的，里面提到的其余的错我没遇到。

http://blog.csdn.net/congcong68/article/details/42043093