Spark Scala 将文本文件读入 DataFrame

Posted 2023-04-15

【中文标题】Spark Scala 将文本文件读入 DataFrame

【英文标题】：Spark Scala read text file into DataFrame

【发布时间】：2017-05-18 11:08:36

【问题描述】：

我希望读取一个文件并将其存储到 DataFrame 中。 我正在读取一个存储到 RDD[Array[String]] 中的文本文件。

val file = sc.textFile("/mockSmall.txt").map(line => line.split(",").map(_.trim))
case class record(eventName: String, date: String, counter: String)
val solrDF: DataFrame = file.mapcase Array(s0, s1, s2) => record(s0, s1, s2).toDF()

但是，我遇到以下编译问题：

值 DF 不是 RDD[record] 的成员

我该如何解决这个问题？ 注意：我使用的是 spark 1.6，因此我没有 sparkSession。

【问题讨论】：

Spark 2.0 Scala - RDD.toDF()的可能重复

@Rumoku 不，不是。请仔细阅读问题。

你错过了：import sqlContext.implicits._ 仔细阅读相关主题。它也适用于 1.6。或者查看文档...

【参考方案1】：

你必须导入spark.implicits._，一切都会好起来的

编辑：

1.6.1 用户请导入sqlContext.implicits._

或者：

使用sqlContext.createDataFrame instead

更多信息请参考官方SQL and DataFrames guidline