Hadoop学习之Windows单机版安装

Posted 2020-11-25 笨小孩

配置Hadoop环境变量：
1.Windows环境变量配置

   鼠标右键点击‘计算机’-‘属性’-‘高级系统设置’-‘环境变量’-单击新建如图：

2.接着找到环境变量path，将hadoop的bin目录加入到后面:

修改hadoop配置文件

（1）编辑“D:hadoop-2.7.5etchadoop”下的core-site.xml文件，将下列文本粘贴进去，并保存；

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

（2）编辑“D:hadoop-2.7.5etchadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件，粘贴一下内容并保存:

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

（3）编辑“D:hadoop-2.7.5etchadoop”目录下的hdfs-site.xml文件，粘贴以下内容并保存。请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录:

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.7.5/workplace/data</value>
    </property>
</configuration>

（4）编辑“D:hadoop-2.7.5etchadoop”目录下的yarn-site.xml文件，粘贴以下内容并保存；

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

（5）编辑“D:hadoop-2.7.5etchadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存:

@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=D:javajdk

替换文件
将下载好的hadooponwindows-master.zip（笔记第一步有下载地址，不知道可以去笔记开头的需求栏目查看）解压，将解压后的bin目录下的所有文件直接覆盖Hadoop的bin目录。备注：下载hadooponwindows-master.zip（后面有用）

运行环境

1.运行cmd窗口，执行“hdfs namenode -format

2.运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

 

转自：https://blog.csdn.net/a2099948768/article/details/79577246