如何在 scala 中将 RDD[(int, string)] 转换为 Dataframe
Posted
技术标签:
【中文标题】如何在 scala 中将 RDD[(int, string)] 转换为 Dataframe【英文标题】：How to Convert RDD[(int, string)] to Dataframe in scala 【发布时间】：2018-10-13 13:07:37 【问题描述】：我正在使用快照中显示的以下代码将 RDD[(Int, String)] 转换为 DataFrame，这样做时，我收到错误消息，提示 value split is not a member of (int , 字符串）
val tuple2_maxduration_withdevice 是 RDD[(Int, String)] 类型，我这里缺少任何基础知识吗？
感谢您对此请求的帮助。
【问题讨论】：
【参考方案1】：既然你已经有了一个元组，直接使用.toDF()
val result = tuple2_maxduration_withdevice.toDF("duration","device")
【讨论】：
感谢 vdep，toDF() 无法在 IDE 上运行，但在 Spark-shell 上运行良好。添加了以下代码行（创建了 sqlContext 和 toDF("duration","device") 的实例在 IDE 上工作正常。val sqlContext = spark.sqlContext import sqlContext.implicits._以上是关于如何在 scala 中将 RDD[(int, string)] 转换为 Dataframe的主要内容，如果未能解决你的问题，请参考以下文章
如何在 Scala 中将元素添加到 Map 中，其中键是字符串，值是 List[String]
如何取消嵌套具有以下类型的 spark rdd ((String, scala.collection.immutable.Map[String,scala.collection.immutable.M
在 Spark Scala 中将 RDD[(String, String, String)] 转换为 RDD[(String, (String, String))]