Windows平台安装配置Hadoop

Posted 2021-03-22 pinghengxing

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Windows平台安装配置Hadoop相关的知识，希望对你有一定的参考价值。

　　　　　　Windows平台安装配置Hadoop

步骤：
1. JDK安装
2. 下载hadoop2.5.2.tar.gz，自行去百度下载。
3. 下载hadooponwindows-master.zip【**能支持在windows运行hadoop的工具】https://github.com/steveloughran/winutils

一、安装hadoop2.5.2

下载hadoop2.5.2.tar.gz ，并解压到你想要的目录下，我放在D:devhadoop-2.5.2
技术图片

二、配置hadoop环境变量

1.windows环境变量配置

右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME，如下图
技术图片

2.接着编辑环境变量path，将hadoop的bin目录加入到后面；

三、修改hadoop配置文件

编辑“D:devhadoop-2.5.2etchadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/dev/hadoop-2.5.2/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/dev/hadoop-2.5.2/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.编辑“D:devhadoop-2.5.2etchadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存；

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.编辑“D:devhadoop-2.5.2etchadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/dev/hadoop-2.5.2/workplace/data</value>
    </property>
</configuration>

4.编辑“D:devhadoop-2.5.2etchadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.编辑“D:devhadoop-2.5.2etchadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:javajdk --jdk安装路径

错误信息：

Error: JAVA_HOME is incorrectly set.
Please update D:workhadoop-2.4.1confhadoop-env.cmd
‘-Xmx512m‘ 不是内部或外部命令，也不是可运行的程序
或批处理文件。
原因：java默认安装在C:Program FilesJava，路径存在空格，所以启动会报错。

解决办法：修改etc/hadoop/hadoop-env.cmd中的JAVA_HOME配置。将C:Program FilesJavajdk1.7.0_79修改为C:Progra~1Javajdk1.7.0_79。

Progra~1 = ‘Program Files‘
Progra~2 = ‘Program Files(x86)‘

四、替换文件

下载到的hadooponwindows-master.zip，解压，将bin目录(包含以下.dll和.exe文件)文件替换原来hadoop目录下的bin目录；

五、运行环境

1.运行cmd窗口，执行“hdfs namenode -format”；
2.运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

成功后，如图：
技术图片

至此，hadoop服务已经搭建完毕。

接下来上传测试，操作HDFS

根据你core-site.xml的配置，接下来你就可以通过：hdfs://localhost:9000来对hdfs进行操作了。

1.创建输入目录

C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/

C:WINDOWSsystem32>hadoop fs -mkdir hdfs://localhost:9000/user/wcinput

2.上传数据到目录

C:WINDOWSsystem32>hadoop fs -put D:file1.txt hdfs://localhost:9000/user/wcinput

C:WINDOWSsystem32>hadoop fs -put D:file2.txt hdfs://localhost:9000/user/wcinput

3.查看文件
技术图片