如何在datastax中实现rdd.bulkSaveToCassandra

Posted 2021-05-04

• 我正在使用5.0.5的数据集群。 [cqlsh 5.0.1 |卡桑德拉3.0.11.1485 | DSE 5.0.5 | CQL规范3.4.0 |原生原型

使用spark-cassandra-connector 1.6.8

我试着实现下面的代码..导入不起作用。

val rdd：RDD [SomeType] t

rdd.bulkSaveToCassandra（密钥空间，表）

有人可以建议我如何实现此代码。它们是否需要依赖性。

答案

Cassandra Spark Connector有saveToCassandra方法可以像这样使用（取自documentation）：

val collection = sc.parallelize(Seq(("cat", 30), ("fox", 40)))
collection.saveToCassandra("test", "words", SomeColumns("word", "count"))

还有saveAsCassandraTableEx允许您控制模式创建和其他事情 - 它也在上面引用的文档中描述。

要使用它们，您需要在“import com.datastax.spark.connector._”文档中描述的Connecting to Cassandra。

并且您需要添加相应的依赖项 - 但这取决于您使用的构建系统。

bulkSaveToCassandra方法仅在您使用DSE连接器时可用。您需要添加相应的依赖项 - 有关详细信息，请参阅documentation。但即使是primary developer of Spark connector says，最好使用saveToCassandra而不是它。