HIVE学习系列——windows Hadoop安装（上）

Posted 2022-04-29 KoenigseggH

文章目录

• 整体流程概览
• jre环境
• • jre安装
  • jre环境变量配置
• Hadoop安装与配置
• • 官网下载步骤
  • 清华镜像下载步骤
  • Hadooponwindows下载
  • 配置系统变量
  • hadoop初始文件配置
  • • hadoop.dll文件复制
    • 配置文件修改
• 格式化HDFS
• 相关服务开启
• • 服务开启过程中遇到的问题
  • 开启服务后的验证

---

整体流程概览

系统：windows10
Jre8 => hadoop安装与配置 => HDFS格式化 => 开启服务
前排提示，HIVE整体配置篇幅较长，可收藏后慢慢操作。
大佬们有相关编写建议也可以多多指导！

---

jre环境

jre安装

Jre8官网

1. 打开官网，选择windows64位的安装包即可

Orcal官网的下载需要账号登陆，邮箱注册即可，全程无收费点。

2. 按照提示直接安装

这里位置可以自定义一下，安装位置要牢记

3. 安装过程中可能会提示程序占用，并给出PID，Ctrl+Alt+Delete调出任务管理器，先后选择性能、资源监视器

4. 在资源监视器中搜索PID，找到相应进程后右击，选择结束进程即可（点击PID排序后更好找一些，CPU中找不到时切换至内存、磁盘即可）

5. 处理掉占用的进程后会再选一次安装位置，这里个人原因，选择安装在了指定目录下

文件夹jre为步骤2中选择的位置，文件夹java为第二次选择的位置

---

jre环境变量配置

1. 右击此电脑选择属性，在右边找到高级系统设置

2. 依次点击环境变量、新建，输入变量名JAVA_HOME，点击浏览目录，选择jre安装的位置

3. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%JAVA_HOME%\\bin

4. 测试jre，在cmd中输入java -version与javac进行测试

---

Hadoop安装与配置

官网下载步骤

Hadoop官网

1. 点击Download，进入下载界面

2. 选择Binary download下的最新版本即可
   Source Download表示源代码版，需要编译后使用
   Binary Download表示可执行版，直接解压使用

3. 点击该条链接进行压缩包下载，结果如图所示：

4. 下载完成后解压到指定目录即可，解压位置要牢记
   这里需要以管理员方式运行
   windows中管理员方式解压文件

---

清华镜像下载步骤

Hadoop清华镜像

1. 选择需要的版本

2. 选择tar.gz文件

3. 下载完成后解压即可，同样需要以管理员身份运行
   windows中管理员方式解压文件

---

Hadooponwindows下载

Hadooponwindows
提取码：q1p2
原始Hadooponwindows版本可在github中搜索Hadooponwindows得到

1. 下载后与hadoop压缩包放置于同一目录下

2. 解压hadooponwindows
3. 将hadooponwindows中的bin与etc复制到hadoop目录下（建议提前备份hadoop中的bin与etc文件夹）

---

配置系统变量

1. 右击此电脑选择属性，在右边找到高级系统设置

2. 依次点击环境变量``新建，输入变量名HADOOP_HOME点击浏览目录，选择hadoop安装的位置

3. 点击环境变量，在系统变量中找到Path并双击，点击新建，输入%HADOOP_HOME%\\bin

4. 测试hadoop，在cmd中输入hadoop进行测试，发现报错

以文本形式打开对应位置的cmd文件，发现JAVA_HOME配置错误

修正后重新测试

问题解决

---

hadoop初始文件配置

为方便查看，这里先贴上自己hadoop的路径，也就是之前的解压路径
D:\\hive\\hadoop\\hadoop-3.2.3\\
该目录下的内容：

hadoop.dll文件复制

文件路径：D:\\hive\\hadoop\\hadoop-3.2.3\\bin\\hadoop.dll

目标路径1：D:\\hive\\hadoop\\hadoop-3.2.3\\sbin

目标路径2：C:\\Windows\\System32

配置文件修改

• 来到hadoop路径D:\\hive\\hadoop\\hadoop-3.2.3\\下，创建若干文件夹以及文件：
  文件夹1：D:\\hive\\hadoop\\hadoop-3.2.3\\data
  文件夹2：D:\\hive\\hadoop\\hadoop-3.2.3\\data\\dfs
  文件夹3：D:\\hive\\hadoop\\hadoop-3.2.3\\data\\dfs\\datanode
  文件夹4：D:\\hive\\hadoop\\hadoop-3.2.3\\data\\dfs\\namenode
  
• 文件修改
  文件1：D:\\hive\\hadoop\\hadoop-3.2.3\\etc\\hadoop\\hdfs-site.xml

1. 增加http-address字段
2. 修正后两个字段中的路径信息为上一步骤中所创建的信息

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.http-address</name>
        <value>localhost:50070</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/namenode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/hive/hadoop/hadoop-3.2.3/data/dfs/datanode</value>
    </property>
</configuration>

文件2：D:\\hive\\hadoop\\hadoop-3.2.3\\etc\\hadoop\\mapred-site.xml

主要是tracker字段的添加

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

如果按照本文所述步骤安装至此，只用修改这2个文件即可，修改完不放心的朋友可以和大佬的这篇文章对应一下，感谢大佬指路

格式化HDFS

在cmd中输入hdfs namenode -format

相关服务开启

以管理员身份运行cmd，切换至D:\\hive\\hadoop\\hadoop-3.2.3\\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

• 目录位置：
  
• 运行结果：

执行start-all.cmd之后会出现4个新的执行框，其中正确执行的会在窗口标题处增加“- 服务名称”如图中绿色箭头所示，反之如红色箭头所示

此时查看jps运行结果也不难看出，只有3个服务启动成功（最初只有2个服务可以成功启动，此图为部分修正后的结果）

服务开启过程中遇到的问题

同样先贴上自己hadoop的路径，也就是之前的解压路径
D:\\hive\\hadoop\\hadoop-3.2.3\\

• 问题1：

java.lang.NoClassDefFoundError: org/apache/hadoop/yarn/server/timelineservice/collector/TimelineColl

解决方法：
未找到类定义，感谢大佬指路
将D:\\hive\\hadoop\\hadoop-3.2.3\\share\\hadoop\\yarn\\timelineservice路径中的hadoop-yarn-server-timelineservice-3.2.3复制到D:\\hive\\hadoop\\hadoop-3.2.3\\share\\hadoop\\yarn即可

• 问题2：

org.apache.hadoop.io.nativeio.NativeIO$POSIX...

解决方法：
hadoop.dll版本不匹配，感谢大佬指路
安装时采用了hadoop==3.2.3，但是hadooponwindows中的hadoop版本为2.0，在大佬提示的git中下载hadoop.dll的3.0版本，之后复制到D:\\hive\\hadoop\\hadoop-3.2.3\\bin下即可
Github链接

• 问题3：

Exiting with status 1: java.io.FileNotFoundException: D:\\hive\\hadoop\\hadoop-3.2.3\\data\\dfs\\namenode\\current\\VERSION (拒绝访问。)

解决方法：
未以管理员方式运行。

开启服务后的验证

• 切换至D:\\hive\\hadoop\\hadoop-3.2.3\\sbin目录下，输入start-all.cmd，随后输入jps查看服务启动情况

可见所有服务均已正常启动

• 在Chrome地址栏输入http://localhost:50070查看Hadoop状态

• Chrome输入http://localhost:8088查看集群状态

---

HIVE学习系列——windows Hadoop安装（下）