管理 HDFS 的10大 Hadoop Shell 命令

Posted 2021-08-06 近探数据

管理 HDFS 的 10 大 Hadoop Shell 命令

在本文中，我将介绍通过 shell 命令管理的 10 大基本 Hadoop HDFS 操作，这些命令对于管理 HDFS 集群上的文件很有用；出于测试目的，您可以使用来自 Cloudera、Hortonworks 等的一些 VM 或者如果您有自己的伪分布式集群设置来调用此命令。

1. 在给定路径的 HDFS 中创建一个目录。

2. 列出目录的内容。

3. 在 HDFS 中上传和下载文件。

上传：hadoop fs -put：

将单个 src 文件或多个 src 文件从本地文件系统复制到 Hadoop 数据文件系统

下载：hadoop fs -get：

将文件复制/下载到本地文件系统

4. 查看文件内容

与 unix cat 命令相同：

5. 将文件从源复制到目标

此命令也允许多个源，在这种情况下目标必须是目录。

6.从/到本地文件系统复制文件到HDFS

从本地复制

类似于 put 命令，除了源被限制为本地文件引用。

复制到本地

类似于 get 命令，不同之处在于目标仅限于本地文件引用。

7. 将文件从源移动到目标。

注意：- 不允许跨文件系统移动文件。

8. 删除 HDFS 中的文件或目录。

删除指定为参数的文件。仅在目录为空时删除目录

删除的递归版本。

9. 显示文件的最后几行。

10. 显示文件的总长度。

请评论您在处理 Hadoop /HDFS 时发现哪些命令最有用。

【结语】

官方网站

http://www.jintancn.com/

24h在线 ：17751719173   

               0512-36606771

意见反馈

[e-mail]

中国上海市嘉定区安亭地铁站附近500米

客服微信：