hadoop CopytoLocal命令在哪里被记录？

Posted 2021-04-14

我想知道何时将文件从hadoop复制到本地，此时会记录此信息。我查看了hadoop审计日志和namenode日志，我没有看到这些信息被记录。任何帮助将不胜感激 。

答案

CopyToLocal可以将文件复制到本地文件系统。这个过程涉及很多类和方法，所以你最好在日志中看到hadoop-hadoop-namenode-Master.log，hadoop-hadoop-jobtracker-Master.log，hadoop-hadoop-datanode-Slave1.log。我会给自己一些关于写文件的理解。读取过程类似于写入文件的过程。

您可以在hadoop-hadoop-namenode-Master.log中搜索“cmd = mkdirs”，然后搜索“HDFS_WRITE”等等。这些关键词表示写文件的过程，即put或CopyFromLocal。然后，您可以根据您的目的阅读这些日志。

注意：您最好分别在主节点和从节点中找到您的日志，上面的日志名称就在我的计算机中。