Spark惰性机制引起的:Input path does not exist
Posted daisy99lijing
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark惰性机制引起的:Input path does not exist相关的知识,希望对你有一定的参考价值。
分析:
val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件,必须以“file:///”开头
Spark的惰性机制:执行上面的命令不会马上显示结果
只有遇到行动类型的操作,才会从头到尾执行所有操作,如:textFile.first()//
从文件中加载数据到变量textFile中,并取出第一行文本。
结论:该目录的文件不存在。
避免此类问题:及时使用textFile.first()检验
以上是关于Spark惰性机制引起的:Input path does not exist的主要内容,如果未能解决你的问题,请参考以下文章
Input path does not exist: file:/opt/apps/hive-3.1.3/conf/spark-warehouse
使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist