Hadoop之HDFS基础

Posted 2022-01-02 gh-123

一。 HDFS概念

1.1 概念

    HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.2 组成

1）HDFS集群包括，NameNode和DataNode以及Secondary Namenode。

2）NameNode负责管理整个文件系统的元数据，以及每一个路径（文件）所对应的数据块信息。

3）DataNode 负责管理用户的文件数据块，每一个数据块都可以在多个datanode上存储多个副本。

4）Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。

1.3 HDFS 文件块大小

    HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

    HDFS的块比磁盘的块大，其目的是为了最小化寻址开销，且传输一个由多个块组成的文件的时间取决于磁盘传输速率。

    如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小实际为64MB，但是很多情况下HDFS使用128MB的块设置。

    块的大小：10ms*100*100M/s = 100M

二 。HFDS命令行操作

1）基本语法

    hadoop fs 具体命令

2）参数大全

3）常用命令实操

    （1）-help：输出这个命令参数

    （2）-ls: 显示目录信息

  （3）-mkdir：在hdfs上创建目录

         hadoop fs  -mkdir  -p  /aaa/bbb/cc/dd

  （4）-moveFromLocal从本地剪切粘贴到hdfs

        hadoop  fs  - moveFromLocal  /home/hadoop/a.txt  /aaa/bbb/cc/dd

  （5）-moveToLocal：从hdfs剪切粘贴到本地

        hadoop  fs  - moveToLocal   /aaa/bbb/cc/dd  /home/hadoop/a.txt

  （6）--appendToFile  ：追加一个文件到已经存在的文件末尾

        hadoop  fs  -appendToFile  ./hello.txt  /hello.txt

  （7）-cat ：显示文件内容

        hadoop  fs  -cat  /hello.txt

  （8）-tail：显示一个文件的末尾

         hadoop  fs  -tail  /weblog/access_log.1

  （9）-text：以字符形式打印一个文件的内容

        hadoop  fs  -text  /weblog/access_log.1

  （10）-chgrp 、-chmod、-chown：linux文件系统中的用法一样，修改文件所属权限

        hadoop  fs  -chmod  666  /hello.txt

        hadoop  fs  -chown  someuser:somegrp   /hello.txt

  （11）-copyFromLocal：从本地文件系统中拷贝文件到hdfs路径去

        hadoop  fs  -copyFromLocal  ./jdk.tar.gz  /aaa/

  （12）-copyToLocal：从hdfs拷贝到本地

        hadoop fs -copyToLocal /aaa/jdk.tar.gz

  （13）-cp ：从hdfs的一个路径拷贝到hdfs的另一个路径

        hadoop  fs  -cp  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

  （14）-mv：在hdfs目录中移动文件

        hadoop  fs  -mv  /aaa/jdk.tar.gz  /

  （15）-get：等同于copyToLocal，就是从hdfs下载文件到本地

        hadoop fs -get  /aaa/jdk.tar.gz

  （16）-getmerge  ：合并下载多个文件，比如hdfs的目录 /aaa/下有多个文件:log.1, log.2,log.3,...

        hadoop fs -getmerge /aaa/log.* ./log.sum

  （17）-put：等同于copyFromLocal

        hadoop  fs  -put  /aaa/jdk.tar.gz  /bbb/jdk.tar.gz.2

  （18）-rm：删除文件或文件夹

        hadoop fs -rm -r /aaa/bbb/

  （19）-rmdir：删除空目录

        hadoop  fs  -rmdir   /aaa/bbb/ccc

  （20）-df ：统计文件系统的可用空间信息

        hadoop  fs  -df  -h  /

  （21）-du统计文件夹的大小信息

        hadoop  fs  -du  -s  -h /aaa/*

  （22）-count：统计一个指定目录下的文件节点数量

        hadoop fs -count /aaa/

  （23）-setrep：设置hdfs中文件的副本数量

        hadoop fs -setrep 3 /aaa/jdk.tar.gz

        这里设置的副本数只是记录在namenode的元数据中，是否真的会有这么多副本，还得看datanode的数量。

三。HDFS客户端操作

3.1 一个完整的Java操作，在hdfs上创建目录

package com.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.After;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;

public class HDFSApp 
    public static final String HDFS_PATH ="hdfs://hadoop102:9000";

    Configuration configuration = null ;
    FileSystem fileSystem = null;

    @Before
    public void setUp() throws Exception 
        System.out.println("HDFSApp.setUp()");
        configuration = new Configuration();
        fileSystem = FileSystem.get(new URI(HDFS_PATH), configuration);
    

    @After
    public void tearDown()
        fileSystem = null;
        configuration = null;
        System.out.println("HDFSApp.tearDown()");
    

    // 创建目录，不会覆盖已经存在的目录
    @Test
    public void mkdir() throws IOException 
        fileSystem.mkdirs(new Path("/hdfsApi/test"));
    

可以查看到hdfs创建的目录

3.2 通过API操作HDFS

3.2.1 HDFS获取文件系统

1）详细代码

    @Test
    public void initHDFS() throws Exception
        // 1 创建配置信息对象
        // new Configuration();的时候，它就会去加载jar包中的hdfs-default.xml
        // 然后再加载classpath下的hdfs-site.xml
        Configuration configuration = new Configuration();
        
        // 2 设置参数 
        // 参数优先级： 1、客户端代码中设置的值  2、classpath下的用户自定义配置文件 3、然后是服务器的默认配置
        //  configuration.set("fs.defaultFS", "hdfs://hadoop102:9000");
        configuration.set("dfs.replication", "3");
        
        // 3 获取文件系统
        FileSystem fs = FileSystem.get(configuration);
        
        // 4 打印文件系统
        System.out.println(fs.toString());
    

2）将core-site.xml拷贝到项目的根目录下

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
<!-- 指定HDFS中NameNode的地址 -->
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop102:9000</value>
    </property>

    <!-- 指定hadoop运行时产生文件的存储目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop/data/tmp</value>
    </property>
</configuration>

3.2.2 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建要上传文件所在的本地路径
        Path src = new Path("e:/hello.txt");
        
        // 3 创建要上传到hdfs的目标路径
        Path dst = new Path("hdfs://hadoop102:9000/user/gh/hello.txt");
        
        // 4 拷贝文件
        fs.copyFromLocalFile(src, dst);
        fs.close();    

3.2.3 HDFS文件下载

@Test
public void getFileFromHDFS() throws Exception
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
    
//    fs.copyToLocalFile(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("d:/hello.txt"));
    // boolean delSrc 指是否将原文件删除
    // Path src 指要下载的文件路径
    // Path dst 指将文件下载到的路径
    // boolean useRawLocalFileSystem 是否开启文件效验
    // 2 下载文件
    fs.copyToLocalFile(false, new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("e:/hellocopy.txt"), true);
    fs.close();

3.2.4 HDFS目录创建

    @Test
    public void mkdirAtHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 创建目录
        fs.mkdirs(new Path("hdfs://hadoop102:9000/user/gh/output"));
    

3.2.5 HDFS文件夹删除

    @Test
    public void deleteAtHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");    
        
        //2 删除文件夹 ，如果是非空文件夹，参数2必须给值true
        fs.delete(new Path("hdfs://hadoop102:9000/user/gh/output"), true);
    

3.2.6 HDFS文件名更改

    @Test
    public void renameAtHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        //2 重命名文件或文件夹
        fs.rename(new Path("hdfs://hadoop102:9000/user/gh/hello.txt"), new Path("hdfs://hadoop102:9000/user/gh/hellonihao.txt"));
    

3.2.7 HDFS文件详情查看

@Test
public void readListFiles() throws Exception 
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 思考：为什么返回迭代器，而不是List之类的容器
    RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(new Path("/"), true);

    while (listFiles.hasNext()) 
        LocatedFileStatus fileStatus = listFiles.next();
            
        System.out.println(fileStatus.getPath().getName());
        System.out.println(fileStatus.getBlockSize());
        System.out.println(fileStatus.getPermission());
        System.out.println(fileStatus.getLen());
            
        BlockLocation[] blockLocations = fileStatus.getBlockLocations();
            
        for (BlockLocation bl : blockLocations) 
                
            System.out.println("block-offset:" + bl.getOffset());
                
            String[] hosts = bl.getHosts();
                
            for (String host : hosts) 
                System.out.println(host);
            
        
            
        System.out.println("----------------------------");
    
    

3.2.8 HDFS文件夹查看

@Test
public void findAtHDFS() throws Exception, IllegalArgumentException, IOException
        
    // 1 创建配置信息对象
    Configuration configuration = new Configuration();
        
    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
    // 2 获取查询路径下的文件状态信息
    FileStatus[] listStatus = fs.listStatus(new Path("/"));

    // 3 遍历所有文件状态
    for (FileStatus status : listStatus) 
        if (status.isFile()) 
            System.out.println("f--" + status.getPath().getName());
         else 
            System.out.println("d--" + status.getPath().getName());
        
    

3.3 通过IO流操作HDFS

3.3.1 HDFS文件上传

    @Test
    public void putFileToHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 创建输入流
        FileInputStream inStream = new FileInputStream(new File("e:/hello.txt"));
        
        // 3 获取输出路径
        String putFileName = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        Path writePath = new Path(putFileName);

        // 4 创建输出流
        FSDataOutputStream outStream = fs.create(writePath);

        // 5 流对接
        try
            IOUtils.copyBytes(inStream, outStream, 4096, false);
        catch(Exception e)
            e.printStackTrace();
        finally
            IOUtils.closeStream(inStream);
            IOUtils.closeStream(outStream);
        
    

3.3.2 HDFS文件下载

    @Test
    public void getFileToHDFS() throws Exception
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();
        
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"),configuration, "gh");
        
        // 2 获取读取文件路径
        String filename = "hdfs://hadoop102:9000/user/gh/hello1.txt";
        
        // 3 创建读取path
        Path readPath = new Path(filename);
        
        // 4 创建输入流
        FSDataInputStream inStream = fs.open(readPath);
        
        // 5 流对接输出到控制台
        try
            IOUtils.copyBytes(inStream, System.out, 4096, false);
        catch(Exception e)
            e.printStackTrace();
        finally
            IOUtils.closeStream(inStream);
        
    

3.3.3 定位文件读取

1）下载第一块

@Test
// 定位下载第一块内容
public void readFileSeek1() throws Exception 

    // 1 创建配置信息对象
    Configuration configuration = new Configuration();

    FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");

    // 2 获取输入流路径
    Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");

    // 3 打开输入流
    FSDataInputStream fis = fs.open(path);

    // 4 创建输出流
    FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part1");

    // 5 流对接
    byte[] buf = new byte[1024];
    for (int i = 0; i < 128 * 1024; i++) 
        fis.read(buf);
        fos.write(buf);
    

    // 6 关闭流
    IOUtils.closeStream(fis);
    IOUtils.closeStream(fos);
    

2）下载第二块

    @Test
    // 定位下载第二块内容
    public void readFileSeek2() throws Exception
        
        // 1 创建配置信息对象
        Configuration configuration = new Configuration();

        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), configuration, "gh");
        
        // 2 获取输入流路径
        Path path = new Path("hdfs://hadoop102:9000/user/gh/tmp/hadoop.tar.gz");
        
        // 3 打开输入流
        FSDataInputStream fis = fs.open(path);
        
        // 4 创建输出流
        FileOutputStream fos = new FileOutputStream("e:/hadoop.tar.gz.part2");
        
        // 5 定位偏移量（第二块的首位）
        fis.seek(1024 * 1024 * 128);
        
        // 6 流对接
        IOUtils.copyBytes(fis, fos, 1024);
        
        // 7 关闭流
        IOUtils.closeStream(fis);
        IOUtils.closeStream(fos);
    

3）合并文件

    在window命令窗口中执行

    type hadoop.tar.gz.part2 >> hadoop.tar.gz.part1

四。HDFS的数据流