是_logs / skip /与hadoop版本相关吗？

Posted 2021-04-06

我正在做关于MapReduce任务失败的项目。根据Hadoop Beginner的Gudie（Garry Tukington），所有跳过数据都存储在_logs / skip /文件夹中。作者使用了Hadoop 1.0版本。我正在使用Hadoop 2.7.4。虽然我使用跳过数据进行了测试，但是既没有创建输出文件夹，也没有创建_logs / skip /。 _logs / skip文件夹与Hadoop版本有关吗？如果我想跳过hadoop 2.7.4中的数据，我该怎么办？

答案

简短的回答是否定的，它根本与hadoop无关。执行时会创建许多临时文件夹，这些文件夹在执行完成后将被删除。这包括日志文件夹，临时输出文件夹和其他临时文件夹。

你不应该被他们搞糊涂。唯一的保证是，即使没有输出，它也会生成带有_SUCCESS文件的输出文件夹。

我希望它能回答你的疑问。