HDFS

Posted 2022-07-22 jomini

HDFS 概念

1、概念

   1.1、  HDFS - Hadoop File distributed filesystem， HDFS以流式数据访问模式来存储超大文件。

    1.2、

           HDFS 以块的方式存储数据。

           HDFS 集群有两类节点的模式运行，一类是namenode 用来管理节点，一类是工作节点datanode用来工作。

           namenode 记录每个文件中每个快的数据节点信息，在内存中保存文件系统中每个文件和每个数据块的引用关系；

           datanode 需要存储并检索数据块并定期向namenode 发送存储的列表；

 

2、基本操作

      从本地文件系统将一个文件复制到HDFS：   

hadoop fs -copyFromLocal input/text.txt \\ hdfs:localhost/user/tom/test.txt

　　如果已经在core-site.xml 中指定了 URL的默认路径就可以如下

hadoop fs -copyFromLocal input/test.txt /user/tom/test.txt

       将文件复制回本地文件系统，检查是否一致, 输入下面的第二条命令可以看到 MD5的值是一样的，说明文件一致

hadoop fs -copyFromLocal  test.txt  test.copy.txt
md input/docs/test.txt text.copy.text

　　 在HDFS新建一个目录

hadoop fs -mkdir books
hadoop fs -ls

　　

2、 HDFS 的工作方式

     2.1、文件读取

    

 2.2、文件写入