Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员

Posted

技术标签:

【中文标题】Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员【英文标题】:Spark Error - Value Text file not a member of org.apache.spark.sparkcontext 【发布时间】:2015-12-14 10:45:30 【问题描述】:

我刚刚开始使用 Apache Spark。当我尝试 RDD 文件时,我得到了

error :
Value Textfile not a member of org.apache.spark.SparkContext. 

这是我输入的:

val data1 = sc.textfile("README.md")

我有 AmazonEMR 和 Spark。

【问题讨论】:

【参考方案1】:

好的刚刚发现是区分大小写的。必须是 textFile(带有 F 上限)。 我希望这会对某人有所帮助。

【讨论】:

以上是关于Spark 错误 - 值文本文件不是 org.apache.spark.sparkcontext 的成员的主要内容,如果未能解决你的问题,请参考以下文章

使用 Spark 读取文本文件并在 spark sql 上插入值

从 S3 将嵌套文本文件读入 spark 时出现内存错误

Spark GraphX实例

值 toDS 不是 org.apache.spark.rdd.RDD 的成员

错误:值 toDF 不是 org.apache.spark.rdd.RDD[org.apache.kafka.clients.consumer.ConsumerRecord[String,String

org.apache.spark.SparkException:任务不可序列化,wh