用于将目录从 hdfs 复制到本地的 Shell 脚本

Posted 2023-04-18

【中文标题】用于将目录从 hdfs 复制到本地的 Shell 脚本

【英文标题】：Shell Script to copy directories from hdfs to local

【发布时间】：2015-10-27 15:08:25

【问题描述】：

我正在寻找一个 shell 脚本，它应该将目录（及其下的文件）从 HDFS 复制到本地系统。

【问题讨论】：

hadoop fs -get 可以轻松将文件从 hdfs 获取到本地。您可以在 shell 脚本中添加此语句

【参考方案1】：

我认为写一个完整的脚本是没有意义的，当你只需要写一个命令到终端时。 与

hadoop fs -ls /myDir/path

您可以验证要复制和写入的目录的名称和路径

hadoop fs -get /myDir/path

将文件放入本地。您也可以通过

指定目标目录

hadoop fs -get /myDir/path /myLocal/destDir

它将while目录（带有子目录）复制到您的工作目录或指定目录。您还可以使用

逐个文件（按目录的目录）获取文件

hadoop fs -get /myDir/path/* 

或一个命令中的特定目录或文件

hadoop fs -get /myDir/path/dir1 /myDir/path/dir2 .

到您的目录。我在我的 Hadoop VM 上试了一下，效果很好。