火花数据框爆炸功能错误

Posted

技术标签:

【中文标题】火花数据框爆炸功能错误【英文标题】:spark dataframe explode function error 【发布时间】:2016-05-31 04:09:09 【问题描述】:

我想在一个DF上使用explode功能,我只是像文档一样写代码:

    case class Url(url:String)
    val temp3 = temp2.explode($"urls")
        case Row(urls:Array[String]) => urls.map(Url(_))
    

但是,结果出来了:

error: not found: value Row

DF temp2 是这样的:

temp2.printSchema()
root
 |-- userid: string (nullable = true)
 |-- urls: array (nullable = true)
 |    |-- element: string (containsNull = true)

【问题讨论】:

【参考方案1】:

添加以下导入:

import org.apache.spark.sql.Row

【讨论】:

以上是关于火花数据框爆炸功能错误的主要内容,如果未能解决你的问题,请参考以下文章

将相同的功能应用于火花数据框行的所有字段

Spark数据框爆炸功能

在火花数组列中爆炸到多列火花sql

PySpark:无法创建火花数据框

火花斯卡拉数据帧错误

火花流功能火花提交时间通过异常