Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?
Posted
技术标签:
【中文标题】Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?【英文标题】:Where are the API docs for org.apache.spark.sql.cassandra for Spark 1.3.x? 【发布时间】:2015-06-08 21:23:14 【问题描述】:我正在编写一个 Spark 作业,该作业使用 Spark-Cassandra 连接器从 spark 连接到 Cassandra,然后使用 Spark SQL 在 Spark/Cassandra 上运行查询。我想知道在哪里可以找到这方面的 API 文档?看这里的api
https://spark.apache.org/docs/1.3.0/api/scala/index.html#org.apache.spark.package
看起来这个包甚至没有退出(确实,我现在正在使用它)。
这是我能找到的唯一一个引用从 SparkSQL 访问 Cassandra 的链接
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/2_loading.md#accessing-cassandra-with-sparksql-since-11
【问题讨论】:
【参考方案1】:新模块位于 Spark Cassandra 连接器中,而不是 apache Spark 项目中。
新的 DataSource 代码在新的 Dataframes 部分中进行了描述,其中包含 SparkSQL 和编程访问的语法。
https://github.com/datastax/spark-cassandra-connector/blob/master/doc/14_data_frames.md
您要查找的代码本身是
https://github.com/datastax/spark-cassandra-connector/tree/master/spark-cassandra-connector/src/main/scala/org/apache/spark/sql/cassandra
【讨论】:
【参考方案2】:连接器README显示docs are hosted通过datastax github站点:
1.3 文档的链接是:
http://datastax.github.io/spark-cassandra-connector/ApiDocs/1.3.1/spark-cassandra-connector/#org.apache.spark.sql.cassandra.package
【讨论】:
以上是关于Spark 1.3.x 的 org.apache.spark.sql.cassandra 的 API 文档在哪里?的主要内容,如果未能解决你的问题,请参考以下文章
值 toDF 不是 org.apache.spark.rdd.RDD[(Long, org.apache.spark.ml.linalg.Vector)] 的成员
Driver stacktrace: at org.apache.spark.scheduler.DAGScheduler.org$apache$spark$scheduler$DAGSchedul(
Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员
Spark SQL 查询:org.apache.spark.sql.AnalysisException
如何解决 Spark 中的“aggregateByKey 不是 org.apache.spark.sql.Dataset 的成员”?
Apache Spark :org.apache.spark.sql.Dataset.drop(String... colNames) 方法用于 Java