Json 文件正在数据块中显示 [重复]

Posted 2023-04-15

【中文标题】Json 文件正在数据块中显示 [重复]

【英文标题】：Json file is being showed in data bricks [duplicate]

【发布时间】：2021-06-10 11:11:33

【问题描述】：

我正在尝试读取 pyspark 中的 JSON 文件。当试图读取为 df 时，它正在读取但当被要求显示时显示错误：-

df = spark.read.format("json") \
     .load(path)
df.show()

错误：

AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when the

我的 JSON 数据如下所示：-

[
  
    "Rollno": 19,
    "sex": "female",
    "Rank": 9,
    "Date": "11/12/2020"
  ,
  
    "Rollno": 18,
    "sex": "male",
    "bmi": 7,
    "Date": "11/12/2020"
  ,

and so on.

为什么会出现此错误？我读错了吗？读取和显示 JSON 文件的最佳方式是什么？

【参考方案1】：

默认情况下，Spark 期望每一行都包含完整的 JSON 字符串。如果您的文件仅包含单个 JSON 对象，那么您可能需要使用 JSON reader 的 multiLine 选项，如下所示：

df = spark.read.option("multiLine", 'true').json(path)

【讨论】：

试过这个但同样的错误。 AnalysisException：从 Spark 2.3 开始，当