从火花数据帧中读取结构[重复]
Posted
技术标签:
【中文标题】从火花数据帧中读取结构[重复]【英文标题】：Reading Structs from a spark data frame [duplicate] 【发布时间】：2017-02-28 12:41:07 【问题描述】：我从 spark DataFrame 中读取了这一行：
scala> val t = df.take(99)
scala> t(0)(0)
res69: Any = [2,null,WrappedArray([20789823,null,0.0,null,1490788977,1], [50115961,null,0.0,null,1490788977,1], [20787723,null,0.0,null,1490788977,1], [20796254,null,0.0,null,1490788977,1]),null,1488196976]
但不幸的是，我不知道如何访问 Any 中的包装数组。
虽然我可以将其转换为字符串并解析输出字符串，但我正在寻找访问数组的正确方法。
【问题讨论】：
和***.com/q/33390925/1560062 专门用于arrays。
【参考方案1】：
您是否尝试过使用explode 函数？它在某种程度上类似于 flatMap 集合调用。 Here 是一个使用它的例子。
希望对你有帮助:)
【讨论】：
以上是关于从火花数据帧中读取结构[重复]的主要内容，如果未能解决你的问题，请参考以下文章