使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist

Posted 2023-03-02 阿龙的代码在报错

报错原文

Caused by: java.io.IOException: Input path does not exist: hdfs://node1:8020/root/hello

错误原因：

读取的文件不存在或者是只在集群中的一台机器中存在。
这样的错误大多出现在读取本地数据文件

解决办法

再spark集群中的所有参与计算的机器都写入这个文件，也就是说每个机器的相同路径都要有这个文件。

这个样会对我们的系统空间造成很大的浪费，所以建议将数据文件存储到每台机器都可以访问到存储空间进行存储，以方便机器进行读取然后进行计算。