如何使用 Python 在现有 AVRO 文件中追加数据

Posted 2023-04-15

技术标签:

【中文标题】如何使用 Python 在现有 AVRO 文件中追加数据【英文标题】：How to append data in existing AVRO file using Python 【发布时间】：2020-06-04 14:26:15 【问题描述】：

我有一个具有相似架构的数据框，我需要将数据附加到 AVRO 文件中。我不喜欢将 avro 文件作为一部分添加到文件夹中。供您参考，我的 AVRO 文件未作为一部分放入该文件夹中。你能帮我解决这个任务吗？

【问题讨论】：

【参考方案1】：

您可以在写入数据帧时使用模式覆盖写入数据。

但是part文件是spark创建的，是分布式处理，每个executor根据数据量吐出一个文件

【讨论】：

以上是关于如何使用 Python 在现有 AVRO 文件中追加数据的主要内容，如果未能解决你的问题，请参考以下文章