在windows上搭建hadoop开发环境

Posted 劈天造陆

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了在windows上搭建hadoop开发环境相关的知识,希望对你有一定的参考价值。

下载hadoop

http://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common

点击下面链接进行下载

 

然后进行解压

如果解压出现下面的情况

则用管理员身份进行解压,cd到压缩包所在文件夹下,执行下面的命令

start winrar x -y hadoop-3.1.3.tar.gz

解压完后,bin里面还缺少了winutils.exehadoop.dll 需要额外下载

https://github.com/s911415/apache-hadoop-3.1.0-winutils

 

 

winutils.exehadoop.dll复制到hadoop-3.1.3\\bin

 

然后将hadoop.dll复制到C:\\Windows\\System32中 否则 会报 Exception in thread "main"java.lang.UnsatisfiedLinkError:org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z

配置环境变量:

新建HADOOP_HOME

编辑Path%HADOOP_HOME%\\bin;

打开cmd,输入hadoop version

如果出现上面的情况,则修改hadoop-env.cmd中的

JAVA_HOME=C:\\PROGRA~1\\Java\\jdk1.8.0_111

PS因为Program Files中存在空格,若是直接使用会出现错误,可以进行如下处理: 只需要用PROGRA~1 代替Program Files,即改为C:\\PROGRA~1\\Java\\jdk1.8.0_111

 

再次在cmd中输入hadoop version

说明成功

 

以上是关于在windows上搭建hadoop开发环境的主要内容,如果未能解决你的问题,请参考以下文章

Windows上搭建hadoop开发环境

Windows8.1+Eclipse搭建Hadoop2.7.2本地模式开发环境

在Eclipse下搭建Hadoop开发环境

在Eclipse下搭建Hadoop开发环境

hadoop开发环境搭建

大数据系列windows环境下搭建hadoop开发环境从hadoop URL读取数据