使用 Apache Spark Notebook 覆盖 Bluemix 对象存储中的 Parquet 文件

Posted 2023-04-15

【中文标题】使用 Apache Spark Notebook 覆盖 Bluemix 对象存储中的 Parquet 文件

【英文标题】：Overwriting Parquet File in Bluemix Object Storage with Apache Spark Notebook

【发布时间】：2016-05-12 12:39:04

【问题描述】：

我正在运行 Spark Notebook 以将 DataFrame 作为 Parquet 文件保存在 Bluemix 对象存储中。

我想在重新运行笔记本时覆盖 Parquet 文件。但实际上它只是附加数据。

下面是 iPython 代码示例：

df = sqlContext.sql("SELECT * FROM table")
df.write.parquet("swift://my-container.spark/simdata.parquet", mode="overwrite")

【参考方案1】：

我不是 python 人，但 SaveMode 为这样的数据框工作

df.write.mode(SaveMode.Overwrite).parquet("swift://my-container.spark/simdata.parquet")

【讨论】：

我尝试关注df.write.mode("overwrite").parquet("swift://my-container.spark/simdata.parquet")，如此处所述Spark SQL Save Modes 但它仍在附加：/

你能去你的 4040 端口看看正在运行的作业吗

我的意思是你的代码中是否有任何可能先写入数据然后附加它。

我查看了代码，就这一行，我写数据的地方

【参考方案2】：

我认为blockstorage只替换了'simdata.parquet'，'PART-0000*'仍然是'simdata.parquet'和app-id的'UUID'，当你尝试读取时，DF读取了所有带有“simdata.parquet*”的文件