HDFS的常用指令

Posted 2023-01-03

 

指令	说明
hadoop fs -mkdir /park01	在hdfs根目录下创建文件夹park01
hadoop fs -ls /	查看hdfs根目录下有哪些目录或文件
hadoop fs -put /root/1.txt /park01	将linux操作系统root目录下的1.txt放在hdfs的park01目录下
hadoop fs -get /park01/jdk /home	把hdfs文件系统下park目录 的文件下载到linux的home目录下
hadoop fs -rm /park01/文件名	删除hdfs的park01目录 的指定文件
hadoop fs -rmdir /park01	删除park01目录，前提是目录里没有文件
hadoop fs -rmr /park01	删除park01目录，即使目录里有文件
hadoop fs -cat /park01/a.txt	查看park01目录下的a.txt
hadoop fs -tail /park01/a.txt	查看park01目录下a.txt文件末尾的数据
hadoop jar xxx.jar	执行jar包
hadoop fs -cat /park01/result/part-000000	查看 /park01/result/part-000000文件的内容
hadoop fs mv /park02 /park01	将hdfs上的par02目录重命名为park01
hadoop fs -mv /park02/1.txt /park01	将park02目录下的1.txt移动到/park01目录下
hadoop fs -touchz /park02/2.txt	创建一个空文件
hadoop fs -getmerge /park /root/tmp/ all.txt	将park目录下的所有文件合并成一个文件， 并下载到linux的root/tmp的目录下的all.txt中
hadoop dfsadmin-safemode leave	离开hadoop安全模式 在重新启动HDFS后，会立即进入安全模式，此时不能操作hdfs中的文件，只能查看目录文件名等，读写操作不能进行
hadoop fsck /park01/1.txt -files -blocks -locations	查看hdfs上指定文件的数据信息
hadoop fs -cp /park01/1.txt /park02	将HDFS上/ark01下的1.txt拷贝一份到park02目录下。 目标路径 可以有假睛多纪鲀，用空格隔开，比如： hadoop fs -cp /park01/1.txt /park02 /park03......
hadoop fs -du /park01/1.txt	查看HDFS上某个文件的大小。也可以查看指定目录， 如果是目录的话，则列出目录 下有的的文件及其大小， 比如：hadoop fs -du /park01
hadoop fs -copyFromLocal /home/software/1.txt /park01	将本地文件1.txt上传到HDFS上/park01目录下
hadoop copyToLocal /park01/1.txt /home/software	将HDFS上park01目录下1.txt文件复制到Linux系统的、 home/software目录下
hadoop fs -lsr /	递归查看指定目录下的所有内容

 

以上创建、复制、删除等操作后，可以在web控制台中，进行查看

具体：

192.168.1.196:50070

菜单上Utillities--Browse the file system

Permission	Owner	Group	Size	Last Modified	Replication	Block Size	Name
-rw-r--r--	root	supergroup	22 B	2018/8/3 上午9:49:32	1	128 MB	1.txt
-rw-r--r--	root	supergroup	3.05 KB	2018/8/3 上午9:41:59	1	128 MB	kms.sh

从左到右，分别表示权限、拥有者、权限组、大小、时间戳、副本份数、块大小（hadoop默认块大小为128MB），名称