Spark DataFrame 到 Avro 并将 AVRO 文件保存到 Cassandra 表

Posted 2023-04-17

【中文标题】Spark DataFrame 到 Avro 并将 AVRO 文件保存到 Cassandra 表

【英文标题】：Spark DataFrame to Avro and Saving AVRO files to a Cassandra Table

【发布时间】：2017-10-17 07:33:29

【问题描述】：

我在 Spark 中创建了一个数据框，现在想将其保存为用户定义的 AVRO 格式，然后将其保存到 Cassandra 表中。

怎么做？

我尝试使用以下方法将其保存到本地 AVRO 文件：

df.write().mode("append").format("com.databricks.spark.avro").save("/Users/xyz/AVRO Files/fifth");

【问题讨论】：

你用过 spark-avro 和 cassandra-spark-connector 吗？有什么问题？

不，我没有使用过这些。我只是想得到一个想法，应该是什么方法？一小段代码会很有帮助。

为什么不直接保存到cassandra？

我的情况是我必须将 Avro 文件发送回另一个 Kafka 主题。所以尝试在 Cassandra 中保存相同的文件

【参考方案1】：

df.write()
.format("org.apache.spark.sql.cassandra")
.mode("append")
.save()

您将需要 spark-cassandra-connector 将数据帧写入 cassandra。

【讨论】：

有什么办法可以先将数据帧转换成用户定义的AVRO格式？？