Java操作HDFS开发环境搭建以及HDFS的读写流程

Posted 2020-10-28

Java操作HDFS开发环境搭建

在之前我们已经介绍了如何在Linux上进行HDFS伪分布式环境的搭建，也介绍了hdfs中一些常用的命令。但是要如何在代码层面进行操作呢？这是本节将要介绍的内容：

1.首先使用IDEA创建一个maven工程：

maven默认是不支持cdh的仓库的，需要在pom.xml中配置cdh的仓库，如下：

  <repositories>
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
    </repository>
  </repositories>

然后还需要到settings.xml文件中，在<mirrorOf>标签中的值配置成*,!cloudera，*,!cloudera 表示除了aliyun仓库还使用cloudera仓库，如下：

<mirror>
    <id>alimaven</id>
    <name>aliyun maven</name>
    <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
    <mirrorOf>*,!cloudera</mirrorOf>
</mirror>

接着配置依赖的包：

  <properties>
    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    <hadoop.version>2.6.0-cdh5.7.0</hadoop.version>
  </properties>

  <dependencies>
    <!-- hadoop依赖 -->
    <dependency>
      <groupId>org.apache.hadoop</groupId>
      <artifactId>hadoop-client</artifactId>
      <version>${hadoop.version}</version>
    </dependency>

    <!-- 单元测试依赖 -->
    <dependency>
      <groupId>junit</groupId>
      <artifactId>junit</artifactId>
      <version>4.10</version>
      <scope>test</scope>
    </dependency>
  </dependencies>

这样我们的环境就搭建完成了，很简单吧，这都是使用maven的好处，我们只需要添加依赖，maven就会自动帮我们将所有的jar包都下载好，再也不需要苦逼的手动一个个的去添加jar包了。

---

Java API操作HDFS文件系统

搭建完工程环境后，我们就可以调用Hadoop的API来操作HDFS文件系统了，下面我们来写一个测试用例，在HDFS文件系统上创建一个目录：

package org.zero01.hadoop.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.net.URI;

/**
 * @program: hadoop-train
 * @description: Hadoop HDFS Java API 操作
 * @author: 01
 * @create: 2018-03-25 13:59
 **/
public class HDFSAPP {

    // HDFS文件系统服务器的地址以及端口
    public static final String HDFS_PATH = "hdfs://192.168.77.130:8020";
    // HDFS文件系统的操作对象
    FileSystem fileSystem = null;
    // 配置对象
    Configuration configuration = null;

    /**
     * 创建HDFS目录
     */
    @Test
    public void mkdir()throws Exception{
        // 需要传递一个Path对象
        fileSystem.mkdirs(new Path("/hdfsapi/test"));
    }

    // 准备资源
    @Before
    public void setUp() throws Exception {
        configuration = new Configuration();
        // 第一参数是服务器的URI，第二个参数是配置对象，第三个参数是文件系统的用户名
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration, "root");
        System.out.println("HDFSAPP.setUp");
    }

    // 释放资源
    @After
    public void tearDown() throws Exception {
        configuration = null;
        fileSystem = null;

        System.out.println("HDFSAPP.tearDown");
    }
}

运行结果：

可以看到是运行成功的，然后到服务器上，查看文件是否多了我们创建的目录：

[[email protected] ~]# hdfs dfs -ls /
Found 3 items
-rw-r--r--   1 root supergroup  311585484 2018-03-24 23:15 /hadoop-2.6.0-cdh5.7.0.tar.gz
drwxr-xr-x   - root supergroup          0 2018-03-25 22:17 /hdfsapi
-rw-r--r--   1 root supergroup         49 2018-03-24 23:10 /hello.txt
[[email protected] ~]# hdfs dfs -ls /hdfsapi
Found 1 items
drwxr-xr-x   - root supergroup          0 2018-03-25 22:17 /hdfsapi/test
[[email protected] ~]# 

如上，代表我们的目录创建成功了。

我们再来增加一个方法，测试创建文件，并写入一些内容到文件中：

/**
 * 创建文件
 */
@Test
public void create() throws Exception {
    // 创建文件
    FSDataOutputStream outputStream = fileSystem.create(new Path("/hdfsapi/test/a.txt"));
    // 写入一些内容到文件中
    outputStream.write("hello hadoop".getBytes());
    outputStream.flush();
    outputStream.close();
}

执行成功后，同样的到服务器上，查看是否有我们创建的文件，并且文件的内容是否是我们写入的内容：

[[email protected] ~]# hdfs dfs -ls /hdfsapi/test
Found 1 items
-rw-r--r--   3 root supergroup         12 2018-03-25 22:25 /hdfsapi/test/a.txt
[[email protected] ~]# hdfs dfs -text /hdfsapi/test/a.txt
hello hadoop
[[email protected] ~]# 

每次操作完都得去服务器上查看，很麻烦，其实我们也可以直接在代码中读取文件系统中某个文件的内容，如下示例：

/**
 * 查看HDFS里某个文件的内容
 */
@Test
public void cat() throws Exception {
    // 读取文件
    FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/a.txt"));
    // 将文件内容输出到控制台上，第三个参数表示输出多少字节的内容
    IOUtils.copyBytes(in, System.out, 1024);
    in.close();
}

现在创建目录、文件以及读取文件内容都知道如何操作了，或许我们还需要知道如何重命名文件，如下示例：

/**
 * 重命名文件
 */
@Test
public void rename() throws Exception {
    Path oldPath = new Path("/hdfsapi/test/a.txt");
    Path newPath = new Path("/hdfsapi/test/b.txt");
    // 第一个参数是原文件的名称，第二个则是新的名称
    fileSystem.rename(oldPath, newPath);
}

增、查、改我们都已经知道如何操作了，就差最后一个删除的操作了，如下示例：

/**
 * 删除文件
 * @throws Exception
 */
@Test
public void delete()throws Exception{
    // 第二个参数指定是否要递归删除，false=否，true=是
    fileSystem.delete(new Path("/hdfsapi/test/mysql_cluster.iso"), false);
}

对文件的增、删、查、改都介绍完了，下面我们来看看如何上传本地文件到HDFS文件系统中，我这里有一个local.txt文件，文件内容如下：

This is a local file

编写测试代码如下：

/**
 * 上传本地文件到HDFS
 */
@Test
public void copyFromLocalFile() throws Exception {
    Path localPath = new Path("E:/local.txt");
    Path hdfsPath = new Path("/hdfsapi/test/");
    // 第一个参数是本地文件的路径，第二个则是HDFS的路径
    fileSystem.copyFromLocalFile(localPath, hdfsPath);
}

执行以上的方法成功后，我们到HDFS上，看看是否拷贝成功：

[[email protected] ~]# hdfs dfs -ls /hdfsapi/test/
Found 2 items
-rw-r--r--   3 root supergroup         12 2018-03-25 22:33 /hdfsapi/test/b.txt
-rw-r--r--   3 root supergroup         20 2018-03-25 22:45 /hdfsapi/test/local.txt
[[email protected] ~]# hdfs dfs -text /hdfsapi/test/local.txt
This is a local file
[[email protected] ~]# 

以上演示了上传一个小的文件，但是如果我需要上传一个比较大的文件，并且还希望有个进度条的话，就得使用以下这个种方式了：

/**
 * 上传大体积的本地文件到HDFS，并显示进度条
 */
@Test
public void copyFromLocalFileWithProgress() throws Exception {
    InputStream in = new BufferedInputStream(new FileInputStream(new File("E:/Linux Install/mysql_cluster.iso")));
    FSDataOutputStream outputStream = fileSystem.create(new Path("/hdfsapi/test/mysql_cluster.iso"), new Progressable() {
        public void progress() {
            // 进度条的输出
            System.out.print(".");
        }
    });
    IOUtils.copyBytes(in, outputStream, 4096);
    in.close();
    outputStream.close();
}

同样的，执行以上的方法成功后，我们到HDFS上，看看是否上传成功：

[[email protected] ~]# hdfs dfs -ls -h /hdfsapi/test/
Found 3 items
-rw-r--r--   3 root supergroup         12 2018-03-25 22:33 /hdfsapi/test/b.txt
-rw-r--r--   3 root supergroup         20 2018-03-25 22:45 /hdfsapi/test/local.txt
-rw-r--r--   3 root supergroup    812.8 M 2018-03-25 23:01 /hdfsapi/test/mysql_cluster.iso
[[email protected] ~]#

既然有上传文件自然就有下载文件，而且上传文件的方式有两种。所以下载文件的方式也有两种，如下示例：

/**
 * 下载HDFS文件1
 * 
 */
@Test
public void copyToLocalFile1() throws Exception {
    Path localPath = new Path("E:/b.txt");
    Path hdfsPath = new Path("/hdfsapi/test/b.txt");
    fileSystem.copyToLocalFile(hdfsPath, localPath);
}

/**
 * 下载HDFS文件2
 *
 */
@Test
public void copyToLocalFile2() throws Exception {
    FSDataInputStream in = fileSystem.open(new Path("/hdfsapi/test/b.txt"));
    OutputStream outputStream = new FileOutputStream(new File("E:/b.txt"));
    IOUtils.copyBytes(in, outputStream, 1024);
    in.close();
    outputStream.close();
}

• 注意：以上演示的第一种下载方式在windows操作系统上可能会报空指针错误，在windows上建议使用第二种方式

下面我们来演示一下如何列出某个目录下的所有文件，示例：

/**
 * 查看某个目录下所有的文件
 *
 * @throws Exception
 */
@Test
public void listFiles() throws Exception {
    FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/hdfsapi/test/"));
    for (FileStatus fileStatus : fileStatuses) {
        System.out.println("这是一个：" + (fileStatus.isDirectory() ? "文件夹" : "文件"));
        System.out.println("副本系数：" + fileStatus.getReplication());
        System.out.println("大小：" + fileStatus.getLen());
        System.out.println("路径：" + fileStatus.getPath() + "\n");
    }
}

控制台打印结果如下：

这是一个：文件
副本系数：3
大小：12
路径：hdfs://192.168.77.130:8020/hdfsapi/test/b.txt

这是一个：文件
副本系数：3
大小：20
路径：hdfs://192.168.77.130:8020/hdfsapi/test/local.txt

这是一个：文件
副本系数：3
大小：852279296
路径：hdfs://192.168.77.130:8020/hdfsapi/test/mysql_cluster.iso

注意，从控制台打印结果中，我们可以看到一个问题：我们之前已经在hdfs-site.xml中设置了副本系数为1，为什么此时查询文件看到的系数是3呢？

其实这是因为这几个文件都是我们在本地通过Java API上传上去的，在本地我们并没有设置副本系数，所以这时就会使用Hadoop的默认副本系数：3。

如果我们是在服务器上，通过hdfs命令put上去的，那么才会采用我们在配置文件中设置的副本系数。不信的话，可以在代码中将路径修改为根目录，这时控制台输出如下：

这是一个：文件
副本系数：1
大小：311585484
路径：hdfs://192.168.77.130:8020/hadoop-2.6.0-cdh5.7.0.tar.gz

这是一个：文件夹
副本系数：0
大小：0
路径：hdfs://192.168.77.130:8020/hdfsapi

这是一个：文件
副本系数：1
大小：49
路径：hdfs://192.168.77.130:8020/hello.txt

根目录下的文件都是我们之前通过hdfs命令put上去，所以这些文件的副本系数才是我们在配置文件中设置的副本系数。

---

HDFS写数据流程

关于HDFS写数据流程，我在网络上找到一篇描述非常简洁易懂的漫画形式讲解HDFS的原理，作者不详。比一般PPT要通俗易懂很多，是难得的学习资料，特此摘录到本文中。

1、三个部分: 客户端、NameNode（可理解为主控和文件索引类似linux的inode）、DataNode（存放实际数据的存server）

2、HDFS写数据过程：

---

HDFS读取数据流程

3、读取数据过程

4、容错：第一部分：故障类型及其检测方法（nodeserver 故障，和网络故障，和脏数据问题）

5、容错第二部分：读写容错

6、容错第三部分：dataNode 失效

7、备份规则

8、结束语

关于这个漫画还有一个中文版的，地址如下：

https://www.cnblogs.com/raphael5200/p/5497218.html

---

HDFS文件系统的优缺点

HDFS优点：

• 数据冗余（多副本存储）、硬件容错
• 处理流式的数据访问，一次写入多次读取
• 适合存储大文件
• 可以构建在廉价机器上，节省成本

HDFS缺点：

• 不适合低延迟数据访问
• 无法高效存储大量小文件
  • 因为即便只有1M的文件，也是拥有自己的元数据的。所以如果存在大量的小文件，那么相对应的元数据需要占用的存储空间就越大，元数据过多会给NameNode增加压力