Hadoop对集群的一些操作的命令介绍

Posted Icy Hunter

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Hadoop对集群的一些操作的命令介绍相关的知识,希望对你有一定的参考价值。

文章目录

创建文件夹

hadoop fs -mkdir hdfs://ip地址:端口号/文件路径

例如:

hadoop fs -mkdir hdfs://192.168.21.201:9000/icyhunter

如果配置了hosts文件,也可以

hadoop fs -mkdir hdfs://master/icyhunter

上传文件

hadoop fs -put a1.txt hdfs://192.168.21.201:9000/icyhunter/a2.txt

将当前目录下的a1.txt文件上传到集群上icyhunter的文件夹下并命名为a…txt

查看文件列表

hadoop fs -ls hdfs://192.168.21.201:9000/icyhunter

查看集群icyhunter文件夹下的文件列表信息

下载文件

hadoop fs -copyToLocal hdfs://172.21.6.156:9000/00/a2_2.txt  ~/ 

或者

hadoop fs -get hdfs://172.21.6.156:9000/00/a2_2.txt ~/

将集群上00文件夹下的a2_2.txt文件下载到home目录下

本地和集群之间移动文件

本地移动到hdfs: -moveFromLocal
hdfs移动到本地:-moveToLocal
移动就是说,本地移到集群,那么本地就没这个文件了。

在集群上移动文件(包括改文件名)

hadoop fs -mv hdfs://master:9000/00/a2.txt hdfs://master:9000/00/b2.txt

将a2.txt改名为b2.txt

删除文件

删除文件:-rm,删除文件 -rmdir 文件夹名

hadoop fs -rmdir hdfs://master:9000/00  //无法删除非空目录
hadoop fs -rm -r hdfs://master:9000/00 //能够删除非空目录

追加文件内容

hadoop fs -appendToFile aa1.txt hdfs://master:9000/0126/abc.txt

将aa1.txt的内容追加到abc.txt文件后面

查看文件内容

hadoop fs -cat hdfs://master:9000/0126/abc.txt

拷贝文件

hadoop -fs -cp hdfs://master:9000/0126/abc.txt hdfs://master:9000/0126

改名拷贝:

hadoop -fs -cp hdfs://master:9000/0126/abc.txt hdfs://master:9000/0132/abc_2.txt

将abc.txt文件复制到0132目录下并改名为abc_2.txt

以上是关于Hadoop对集群的一些操作的命令介绍的主要内容,如果未能解决你的问题,请参考以下文章

HDFS常用文件操作命令汇总

hadoop集群配置和在windows系统上运用java操作hdfs

在容器中部署MySQL和Hadoop集群(内含视频)

Hadoop集群的搭建及配置

hadoop集群操作常用命令

Hadoop进阶命令使用介绍