hadoop配置 --在每次运行时自动删除输出目录
Posted iAthena
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了hadoop配置 --在每次运行时自动删除输出目录相关的知识,希望对你有一定的参考价值。
运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:
Configuration conf = new Configuration();
Job job = new Job(conf);
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);
若要关闭 Hadoop,则运行
./sbin/stop-dfs.sh
注意
下次启动 hadoop 时,无需进行 NameNode 的初始化,只需要运行 ./sbin/start-dfs.sh
就可以!
以上是关于hadoop配置 --在每次运行时自动删除输出目录的主要内容,如果未能解决你的问题,请参考以下文章