使用 scala 将 JavapairRDD 转换为数据帧

Posted 2023-04-17

技术标签:

【中文标题】使用 scala 将 JavapairRDD 转换为数据帧【英文标题】：transform JavapairRDD to dataframe using scala 【发布时间】：2020-02-24 22:26:09 【问题描述】：

我有一个以下格式的 javapairRDD

org.apache.spark.api.java.JavaPairRDD[com.vividsolutions.jts.geom.Geometry,com.vividsolutions.jts.geom.Geometry]

键是多边形，值是多边形中的一个点

例如：

[(polygon(1,2,3,4), POINT (-80.0140735758427 40.43926684782609) )]

如何将这个javapairRDD 转换为Dataframe 三列？

df: String, double, double

这里我的第一列是一个多边形，第二列是经度，第三列是纬度

任何帮助将不胜感激

【问题讨论】：

【参考方案1】：

以下解决方案有效

javapairrddvariable.rdd.toDF()

【讨论】：

以上是关于使用 scala 将 JavapairRDD 转换为数据帧的主要内容，如果未能解决你的问题，请参考以下文章