如何在Windows中使用Eclipse访问虚拟机Linux系统中的hadoop

Posted 2021-01-19 ╄冷丶夜♂

　　因为计算机配置过低，在虚拟机里几乎无法使用Eclipse，效率极低！

　　所以现在尝试使用Windows下Eclipse操作虚拟机中Hadoop，步骤如下：

　　开发环境：Hadoop2.7.1，Ubuntu Kylin 14.04

　　1.修改配置文件core-site.xml，将其中localhost改为虚拟机的ip地址：

　　在Ubuntu中，打开控制台，使用命令ifconfig查看虚拟机ip，如图：

　　

　　修改【hadoop安装路径】/etc/hadoop下的core-site.xml文件，如图：

　　

　　2.安装Hadoop-Eclipse-Plugin

　　（以下操作在Window系统中进行）

　　下载hadoop2x-eclipse-plugin：(下载地址：https://github.com/winghc/hadoop2x-eclipse-plugin)

　　解压hadoop2x-eclipse-plugin，将其中的hadoop-eclipse-plugin-2.6.0.jar复制到Eclipse安装目录下的plugins文件夹中，启动Eclipse。

　　将hadoop安装包解压到windows系统中（下载地址：http://mirror.bit.edu.cn/apache/hadoop/common/），这里我解压到D:\\hadoop

　　选择 Window 菜单下的 Preference，左侧找到Hadoop Map/Reduce，填写刚刚解压的Hadoop目录，如图：

　　

　　3.配置Hadoop-Eclipse-Plugin

　　选择 Window 菜单下Show View——Other，找到Map/Reduce Localtions，点击Open，如图：

　　

　　在Map/Reduce Locations面板中右击，选择New Hadoop location

　　

　　配置如下：

　　

　　4.启动hadoop，此时已经可以看到HDFS中的文件了：

　　

　　遇到问题：

　　但现在修改HDFS上的内容时，会出现如下错误：

　　org.apache.hadoop.security.AccessControlException: org.apache.hadoop.security .AccessControlException: Permission denied: user=Administrator, access=WRITE, inode="hadoop": hadoop:supergroup:rwxr-xr-x

　　解决办法：

　　修改hdfs-site.xml文件，添加以下内容：

 1 <property>
 2     <name>dfs.permissions</name>
 3     <value>false</value>
 4     <description>
 5     If "true", enable permission checking in HDFS.
 6     If "false", permission checking is turned off,
 7     but all other behavior is unchanged.
 8     Switching from one parameter value to the other does not change the mode,
 9     owner or group of files or directories.
10     </description>
11 </property>

　　如图：

　　

 

参考文章：

https://blog.csdn.net/hsl_1990_08_15/article/details/50704425

https://blog.csdn.net/hfut_jf/article/details/48739585

http://www.cnblogs.com/acmy/archive/2011/10/28/2227901.html