Spark 1.6 向 Cassandra 插入数据帧

Posted 2023-04-17

【中文标题】Spark 1.6 向 Cassandra 插入数据帧

【英文标题】：Spark 1.6 a dataframe insert to Cassandra

【发布时间】：2016-12-22 10:48:49

【问题描述】：

我正在尝试向 cassandra 插入一个数据框。

当我写 rdd.tosaveToCasssandra("keyspace","table")

没问题，但我不能用这个函数写

myDataFrame.tosaveToCassandra("keyspace","table")

我也试过了，但没有保存。

myDataFrame.write.format("org.apache.spark.sql.cassandra").mode('append').options(table="mytable", keyspace="mykeyspace").save()

除了 Spark 2.0 的新 API，你有什么想法吗

谢谢

【问题讨论】：

第一次尝试不正确。那仅适用于RDDS，第二种方法是正确的。为什么你认为它没有保存？

我认为您没有正确提供选项。它需要一张地图，您可以尝试这种方式 paddedGtpProfiles.write.format("org.apache.spark.sql.cassandra").mode(SaveMode.Append).option("table","mytable").option( "keyspace","mykeyspace").save()

你有什么错误吗？

【参考方案1】：

对于 python，目前 Spark Cassandra 连接器中没有 Cassandra 的流式接收器，您必须自己实现。