HDFS基础shell操作

Posted 2020-12-23 zhouzhiwei

Hadoop fs 命令分类：

1、本地-》HDFS：

put(从本地文件系统中复制单个或多个源路径到目标文件系统)

hadoop fs -put localfile /user/hadoop/hadoopfile

copyFromLocal(和put命令相似)

hadoop fs -copyFromLocal <localsrc> URI

moveFromLocal

hadoop fs -moveFromLocal <src> <dst>

 

2、HDFS-》HDFS：

cp(复制文件)

hadoop fs -cp /user /user2

mv(移动为文件)

hadoop fs -mv /user2 /user

chown(改变文件用户权限)

hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]

chgrp(改变文件组权限)

hadoop fs -chgrp [-R] GROUP URI [URI …]

chmod(改变文件权限)

hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]

mkdir(创建文件夹)

hadoop fs -mkdir -p /usr/root

du(显示目录中所有文件的大小)

hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1 hdfs://host:port/user/hadoop/dir1

df(文件系统的磁盘使用情况)

hadoop fs -df /user/hadoop/dir

rmr(递归删除)

hadoop fs -rmr /user/hadoop/dir

cat(将路径指定文件的内容输出)

hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2

 

3、HDFS-》本地：

get(复制文件到本地文件系统)

hadoop fs -get /user/hadoop/file localfile

getmerge(接受一个源目录和一个目标文件作为输入，并且将源目录中所有的文件连接成本地目标文件)

hadoop fs -getmerge <src> <localdst> [addnl]

copyToLocal(和get作用一样)

hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>