Hadoop hadoop.tmp.dir 配置的目录下数据可以删除吗？

Posted 2023-03-15

hadoop.tmp.dir 有个配置，这个配置下的目录占用磁盘空间太大，包含许多个小文件，请问这些文件是否可以被删除？万分感谢~

可以删，那是临时文件 参考技术A 不可以随意删。
Hadoop的HDFS、MapReduce、Yarn（Spark、MR作业的shuffle）的很多配置路径默认是依赖该参数的值，删除后很可能会影响HDFS（元数据、数据）、Yarn的作业，最好是看下hdfs-site yarn-site 等xml文件中对该参数的依赖。