大数据系列在windows下连接linux 下的hadoop环境进行开发

Posted 2020-09-28 霓裳梦竹

一、下载Eclipse并安装

二、下载exlipse的hadoop plugin

三、打开Map Reduce视图

Window --> Perspective --> Open perspective

四、编辑Hadoop Location

五、查看是否连接成功

六、上传文件或文件夹测试是否成功

1、没有权限Permission denied 

关键代码行：执行login.login的时候调用了hadoop里面的HadoopLoginModule方法，而关键是在commit方法里面，它会优先去读取HADOOP_USER_NAME系统环境变量，然后是Java环境变量，再如果没有的话就会从NTUserPrincipal里面获取。因为之前没有配置HADOOP_USER_NAME所以其获取到的是我windows系统的当前用户。

if (!isSecurityEnabled() && (user == null)) {
  String envUser = System.getenv(HADOOP_USER_NAME);
  if (envUser == null) {
    envUser = System.getProperty(HADOOP_USER_NAME);
  }
  user = envUser == null ? null : new User(envUser);
}

以上解决参考自：http://blog.csdn.net/xiaoshunzi111/article/details/52062640