hadoop分布式文件系统管理命令速查

Posted 大数据学习记录

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop分布式文件系统管理命令速查相关的知识,希望对你有一定的参考价值。


 本文主要介绍hadoop分布式文件系统hdfs的管理命令,及使用例子。便于随时翻阅查看,建议收藏。



    命令行窗口输入hadoop fs可以查看hadoop分布式文件系统相关命令及用法,这里列出常用命令的使用。

    命令语法:hadoop fs [generic options]

命令
功能
用法
-ls 查看当前目录
hadoop fs -ls /
-cat
查看文件内容同-text
hadoop fs -cat /data/data.txt
-mkdir
在hdfs中创建目录
hadoop fs -mkdir /data
-put
上传文件,从本地到hdfs,同-copyFromLocal

hadoop fs -put data.txt /data

-get
下载文件,从hdfs到本地,同-copyToLocal
hadoop fs -get /data/data.txt /
-rm
删除hdfs上的文件-R递归删除,-f强制删除
hadoop fs -rm -f /data/data.txt
-cp
hadf上拷贝文件
hadoop fs -cp /data/data.txt /data/data1.txt
-getmerge
将hdfs上的文件先合并再下载

hadoop fs -getmerge /data/* /home/all.txt

-appendToFile
将本地文件先合并再上传到hdfs

hadoop fs -appendToFile /tmp/student/* /data/all.txt

-df
查看hdfs文件系统大小-h易读模式
hadoop fs -df -h
-du
统计某路径下文件大小-s总量,-h易读模式 hadoop fs -du -s -h /

小结:hadoop分布式文件系统管理命令大部分跟linux文件系统命令类似,可以将hadoop fs别名为fs(alias fs="hadoop fs"),这样就可以简写为fs -ls / 管理hdfs。注:hdfs dfs同hadoop fs。


以上是关于hadoop分布式文件系统管理命令速查的主要内容,如果未能解决你的问题,请参考以下文章

分布式文件系HDFS-部署和配置

分布式文件系HDFS-部署和配置

Hadoop技术栈之Linux常用基础命令系统命令

Hadoop数据管理

「速查表」Spark&Hadoop&Hive必知必会.pdf

idea项目远程管理Hadoop集群分布式文件系统