HDFS用法

Posted 2020-11-19

HDFS体系结构：

实战：
HDFS是文件系统，那么它就支持对文件系统的基本操作，比如文件的增删改查、权限的修改，文件夹的创建，删除，重命名等操作；对HDFS的操作命令类似与linux的shell对文件的操作 如：ls、mkdir、rm、chown等
当你遇到问题时执行bin/hadoop dfs –help?commandName会显示这个命令的用法, 在介绍之前先定义一下参数的意义：

1. 斜体：表示用户输入的变量
2. path：表示文件名或目录名
3. path…：表示一个或多个文件名或目录名
4. ?file：表示任意文件名
5. rc和dest：表示HDFS的源路径和目标路径
6. localSrc和localDest：表示本地文件系统的源路径和目标路径
   7.在[]中的参数是可选的
   ?执行hadoop fs 命令，如图所示：

?hadoop fs –ls path
列出path目录下的内容，包括文件名，权限，所有者，大小和修改时间

?hadoop fs -lsr?path
与ls相似，但递归地显示子目录下的内容

?hadoop fs –du path
显示path下所有文件磁盘使用情况下，用字节大小表示，文件名用完整的HDFS协议前缀表示
?hadoop fs –dus path 2.0 ：hadoop fs –du -s path
与-du相似，但它还显示全部文件或目录磁盘使用情况

?hadoop fs -mkdir?path
在HDFS中创建一个名为path的目录，如果它的上级目录不存在，也会被创建，如同linux中的mkidr –p
?hadoop fs –rm?path
删除一个文件或空目录
?hadoop fs –rmr?path 2.x: hadoop fs –rm -r?path
删除一个文件或递归删除目录

?hadoop fs –put?localSrc dest
将本地文件或目录localSrc上传到HDFS中的dest路径
?hadoop fs –copyFromLocal?localSrc dest
与-put命令相同
?hadoop fs –moveFromLocal?localSrc dest
将文件或目录从localSrc上传到HDFS中的dest目录，再删除本地文件或目录localSrc
?hadoop fs –get [-crc]?src localDest
将文件或目录从HDFS中的src拷贝到本地文件系统localDest
?hadoop fs –getmerge?src localDest?[addnl]
将在HDFS中满足路径src的文件合并到本地文件系统的一个文件localDest中
?hadoop fs –cat?filename
显示文件内容到标准输出上
?hadoop fs -copyToLocal [-crc]?src localDest
与-get命令相同
?hadoop fs -moveToLocal [-crc]?src localDest
与-get命令相似，但拷贝结束后，删除HDFS上原文件
?hadoop fs -cp?src dest
在HDFS中，将src文件或目录复制到dest
?hadoop fs -setrep [-R] [-w]?rep path
设置目标文件的复制数
?hadoop fs -touchz?path
创建一个文件。时间戳为当前时间，如果文件本就存在就失败，除非原文件长充为0
?hadoop fs -test –[ezd]?path
如果路径(path)存在，返回1，长度为0(zero)，或是一个目录(directory)
?hadoop fs –stat [format]?path
显示文件所占块数(%b)，文件名(%n)，块大小(%n)，复制数(%r)，修改时间(%y%Y)
?hadoop fs –tail [-f]?file
显示文件最后的1KB内容到标准输出
?hadoop fs –chmod [-R] [owner][:[group]]?path…
递归修改时带上-R参数，mode是一个3位的8进制数，或是[augo]+/-{rwxX}
?hadoop fs –chgrp [-R]?group
设置文件或目录的所有组，递归修改目录时用-R参数

想了解更多信息，可到http://hadoop.apache.org/官网了解。