提取 HDFS 文件夹或文件详细信息

Posted 2023-03-23

【中文标题】提取 HDFS 文件夹或文件详细信息

【英文标题】：Extract HDFS folder or file details

【发布时间】：2019-12-16 10:16:10

【问题描述】：

为了使用 hive 在任何时间点查找 HDFS 目录中存在的文件数，我创建了一个 hive 外部表。谁能帮我提取HDFS 中存在的目录的文件详细信息，因为INPUT__FILE__NAME 或hdfs dfs -stat 不符合我的目的，我希望将所有-ls 放入csv 文件中。

【参考方案1】：

不建议使用 ls 的输出，它不是为此而设计的。话虽如此，这不是正常的 ls ，所以也许别无选择。

你可以像这样把它的输出放到一个文件中：

hadoop fs -ls /path > output.txt

【参考方案2】：

还可以使用hdfs在所有数据库中查找表：

hive数据库的路径是：

/apps/hive/仓库/ 所以，通过使用 hdfs ：

hdfs dfs -find /apps/hive/warehouse/ -name t*

或

hadoop fs -ls /路径