Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?

Posted

技术标签:

【中文标题】Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?【英文标题】:Where are the API docs for org.apache.spark.sql.cassandra for Spark 1.3.x? 【发布时间】:2015-06-08 21:23:14 【问题描述】:

我正在编写一个 Spark 作业,该作业使用 Spark-Cassandra 连接器从 spark 连接到 Cassandra,然后使用 Spark SQL 在 Spark/Cassandra 上运行查询。我想知道在哪里可以找到这方面的 API 文档?看这里的api

https://spark.apache.org/docs/1.3.0/api/scala/index.html#org.apache.spark.package

看起来这个包甚至没有退出(确实,我现在正在使用它)。

这是我能找到的唯一一个引用从 SparkSQL 访问 Cassandra 的链接

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/2_loading.md#accessing-cassandra-with-sparksql-since-11

【问题讨论】:

【参考方案1】:

新模块位于 Spark Cassandra 连接器中,而不是 apache Spark 项目中。

新的 DataSource 代码在新的 Dataframes 部分中进行了描述,其中包含 SparkSQL 和编程访问的语法。

https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md

您要查找的代码本身是

https://github.com/datastax/spark-cassandra-connector/tree/master/spark-cassandra-connector/src/main/scala/org/apache/spark/sql/cassandra

【讨论】:

【参考方案2】:

连接器README显示docs are hosted通过datastax github站点:

1.3 文档的链接是:

http://datastax.github.io/spark-cassandra-connector/ApiDocs/1.3.1/spark-cassandra-connector/#org.apache.spark.sql.cassandra.package

【讨论】:

以上是关于Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?的主要内容,如果未能解决你的问题,请参考以下文章

值 toDF 不是 org.apache.spark.rdd.RDD[(Long, org.apache.spark.ml.linalg.Vector)] 的成员

Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGSchedul(

Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员

Spark SQL 查询:org.apache.spark.sql.AnalysisException

如何解决 Spark 中的“aggregateByKey 不是 org.apache.spark.sql.Dataset 的成员”?

Apache Spark :org.apache.spark.sql.Dataset.drop(String... colNames) 方法用于 Java