pyspark错误记录1: Py4JJavaError

Posted ivyharding_wang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pyspark错误记录1: Py4JJavaError相关的知识,希望对你有一定的参考价值。

错误代码:

 

 完整错误信息为:

Py4JJavaError: An error occurred while calling z:org.apache.spark.api.python.PythonRDD.collectAndServe.
: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/C:/Users/30565/Documents/Python Scripts/README.md

这个错误信息告诉我们:README.md的文件不存在,那就需要把文件路径补齐了

解决方案:
补全路径

 

 

 

以上是关于pyspark错误记录1: Py4JJavaError的主要内容,如果未能解决你的问题,请参考以下文章

pyspark记录列的日志

pyspark 将最小值添加回数据框

根据间隔pyspark中的记录数增加一列

从s3读取json文件以使用glueContext.read.json粘合pyspark会给出错误的结果

PySpark XML 处理 - 忽略不良记录

Pyspark向每一行添加新记录[重复]