eclipse里面配置hadoop

Posted 2021-05-24 wyju

1.切换到普通用户下面

su hadoop

2.进入到/usr/local/hadoop/etc/hadoop/里面。查看配置文件

cd /usr/local/hadoop/etc/hadoop/

3.修改core-site.xml 文件

（1）进入文件里面

vim core-site.xml 

（2）内容修改为

<!-- 所有hadoop的存储目录 -->
        <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
    </property>
  <!-- 默认hadoop的hdfs的命名，端口为9000-->
        <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.1.100:9000</value>
    </property>

4.修改hdfs-site.xml

（1）进入文件里面

vim etc/hadoop/hdfs-site.xml

（2）在原来的内容上添加以下内容

 <property>
         <name>dfs.namenode.rpc-address.ns.nn1</name>
         <value>192.168.1.100:9000</value>
 </property>

5.启动节点

sbin/start-all.sh

6.查看端口号，50070和8088

准备好我们开始配置eclipse，那么首先要解决windows下面的问题

1.利用xftp，把/usr/local/hadoop/etc/hadoop里面的两个配置文件拷贝到windows桌面上

（1）core-site.xml

（2）hdfs-site.xml

2.解压windows下面的hadoop-2.7.7.tar.gz包

3.把插件 hadoop-windows-plugin.zip 拷贝到D:\\zhilaoshi\\linux\\hadoop-2.7.7\\bin目录

4.把winutils.exe和hadoop.dll拷贝到D:\\zhilaoshi\\linux\\hadoop-2.7.7\\bin目录

5.配置配置 Windows下面的hadoop的环境变量

（1）打开环境配置

（2）新建 HADOOP_HOME 值是 自己的路径（就是第二步骤时你解压的路径）

（3）新建 HADOOP_USER_NAME 值是 hadoop

（4）在 PATH 中添加 %HADOOP_HOME%\\bin

6.复制 hadoop-eclipse-plugin-2.7.7.jar 文件到 Eclipse 安装目录下的 plugins 目录中

（1）右击eclips----点击属性，查看安装路径

（2）复制 hadoop-eclipse-plugin-2.7.7.jar 文件到 Eclipse 安装目录下的 plugins 目录中

接下来打开eclipse正式开始配置eclips里面的hadoop

1.找到window–preferences，在框里搜索hadoop，点击hadoop map/reduce配置hadoop环境

2.点击右边的Browse，配置hadoop路径

3.window ----show views—other-,然后搜说map，然后点击小象就可以了，这样就打开了hadoop的窗口

4.配置 Hadoop 插件

5.验证是否配置成功

环境已经搭建好，接下来我们创建hadoop项目

1.新建项目，选择map项目，项目名字为MyHadoop

2.src下面配置log4j.properties文件

log4j.rootLogger=info, a1
log4j.appender.a1=org.apache.log4j.ConsoleAppender
log4j.appender.a1.layout=org.apache.log4j.PatternLayout
log4j.appender.a1.layout.ConversionPattern=%p %d{yyyy-MM-dd HH:mm:ssS} || %c{1} || %m%n

3.添加 HDFS 配置文件

接下来就可以写项目代码了