在windows系统上安装Hadoop

Posted 2021-09-05 阳哥赚钱很牛

Hadoop都是在Linux上安装、配置、操作的，那么Hadoop可以在Windows上安装、运行吗？

答：我们知道Hadoop官网只提供了Hadoop的tar.gz安装包，显然是属于Linux系统的。但其实Windows系统也可以安装Hadoop，如果想在Windows上安装，我们将linux上的tar.gz这个安装包解压缩一下就可以了。（使用软件7-zip）

一、Windows上安装hadoop步骤

第一步        将linux上的tar.gz安装包解压缩

        需要解压缩两次：第一次解压缩结果：

        第二次解压缩结果：

第二步        在Windows上配置环境变量

 此时我们cmd验证一下：

 hadoop运行没问题，但其中会报JAVA_HOME的错

原因：hadoop运行需要java的支持，我们需要把本地的JAVA_HOME和hadoop关联一下。

按照报错指示

Please update F:\\秋招学习\\Hadoop\\资料\\hadoop-2.8.5\\etc\\hadoop\\hadoop-env.cmd

我们去修改一下。

 重启一下就好了。

二、HDFS的JavaAPI操作

 hadoop在window本地安装成功之后，下一步就可以编写HDFS代码了

我们需要解决一个问题：因为操作HDFS  我们得需要引入操作HDFS的依赖
        第一种引入方式：自己找jar包（source源码jar包、test测试jar包不需要）
                   hdfs编程所需要的jar包都在Hadoop安装目录的share目录下
        第二种引入方式：使用maven进行引用（建议）

 测试：使用Java代码连接HDFS分布式文件存储系统
         注意：所谓的连接起始连接的是我们的namenode，因为namenode是整个集群的管理者

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.io.IOException;

public class Test {
    public static void main(String[] args) throws IOException {
        /**
         * 创建一个配置文件  指定我们再去连接HDFS的时候  我们应该采取什么样的配置
         * 比如HDFS中namenode的访问路径
         */
        Configuration conf = new Configuration();
        //配置hdfs的访问路径
        conf.set("fs.defaultFS","hdfs://192.168.10.3:9000");
        //格局配置向去获取文件系统
        FileSystem fileSystem = FileSystem.get(conf);
        System.out.println(fileSystem);
        Path p = new Path("/a.txt");
        fileSystem.create(p);
    }
}

执行成功，在hdfs上创建了一个新文件a.txt

hadoop在Windows上成功配置。