从火花数据帧中读取结构[重复]

Posted 2023-04-15

【中文标题】从火花数据帧中读取结构[重复]

【英文标题】：Reading Structs from a spark data frame [duplicate]

【发布时间】：2017-02-28 12:41:07

【问题描述】：

我从 spark DataFrame 中读取了这一行：

scala> val t = df.take(99)
scala> t(0)(0)
res69: Any = [2,null,WrappedArray([20789823,null,0.0,null,1490788977,1], [50115961,null,0.0,null,1490788977,1], [20787723,null,0.0,null,1490788977,1], [20796254,null,0.0,null,1490788977,1]),null,1488196976]

但不幸的是，我不知道如何访问 Any 中的包装数组。

虽然我可以将其转换为字符串并解析输出字符串，但我正在寻找访问数组的正确方法。

【问题讨论】：

和***.com/q/33390925/1560062 专门用于arrays。

【参考方案1】：

您是否尝试过使用explode 函数？它在某种程度上类似于 flatMap 集合调用。 Here 是一个使用它的例子。

希望对你有帮助:)