Spark惰性机制引起的:Input path does not exist

Posted daisy99lijing

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark惰性机制引起的:Input path does not exist相关的知识,希望对你有一定的参考价值。

 

 技术图片

 

 

分析:

val textFile = Sc.textFile(“file///usr/local/spark/...”)加载本地文件,必须以“file///”开头

Spark的惰性机制:执行上面的命令不会马上显示结果

只有遇到行动类型的操作,才会从头到尾执行所有操作,如:textFile.first()//

从文件中加载数据到变量textFile中,并取出第一行文本。

结论:该目录的文件不存在。

避免此类问题:及时使用textFile.first()检验

以上是关于Spark惰性机制引起的:Input path does not exist的主要内容,如果未能解决你的问题,请参考以下文章

2.spark基本概念

Input path does not exist: file:/opt/apps/hive-3.1.3/conf/spark-warehouse

使用spark分布式计算框架进行数据计算时 出现报错 Caused by: java.io.IOException: Input path does not exist

求大佬指点:

Django——惰性机制

Python学习---django惰性机制