Hadoop 独立集群 Pyspark 加载 CSV 文件不存在（hdfs://home/usr/filepath.csv）

Posted 2023-04-15

【中文标题】Hadoop 独立集群 Pyspark 加载 CSV 文件不存在（hdfs://home/usr/filepath.csv）

【英文标题】：Hadoop Standalone Cluster Pyspark Load CSV file does not Exist(hdfs://home/usr/filepath.csv)

【发布时间】：2021-05-19 18:11:30

【问题描述】：

 df = spark.read.csv('/home/hadoop/observations_temp.csv, header=True)

当我运行脚本时会出现以下错误消息：

pyspark.sql.utils.AnalysisException: u'Path does not exist: hdfs://home/anmol/SnapShot.cvs

【问题讨论】：

你是从 HDFS 读取还是从本地文件读取？

来自 hdfs://usr/hadoopusr

【参考方案1】：

我相信你的路径中有一个错字，它是 cvs 而不是 csv。这应该工作

df = spark.read.csv('hdfs://home/anmol/SnapShot.csv')