关于在Spark集群中读取本地文件抛出找不到文件异常的问题

Posted 2022-12-06 Lee_Sung

关于在Spark集群中读取本地文件抛出找不到文件异常的问题

一般情况下，我们在本地ide里写好程序，打成jar包上传到集群取运行，有时候需要读取数据文件，这个时候需要注意，如果程序中读取的是本地文件，那么，要在所有的节点都有这个数据文件，只在master中有这个数据文件时执行程序时一直报找不到文件

• 解决方式1：让每个Worker节点的相应位置都有要读取的数据文件。

• 解决方式2：直接将数据文件上传到hdfs，达到数据共享。（强烈推荐，比格更高更专业）