Spark Kotlin - 创建空数据集
Posted
技术标签:
【中文标题】Spark Kotlin - 创建空数据集【英文标题】:Spark Kotlin - create empty Dataset 【发布时间】:2020-12-04 09:23:05 【问题描述】:我正在使用 Kotlin for Spark:https://blog.jetbrains.com/kotlin/2020/08/introducing-kotlin-for-apache-spark-preview/
我正在尝试基于数据类创建一个空数据集:
data class Company(val ticker:String)
val ds:Dataset<Company> = spark.createDataset() // <- don't know what to put in the brackets
【问题讨论】:
【参考方案1】:自己发现的:
val emptyList:List<Company> = emptyList()
var ds = emptyList.toDS(spark)
【讨论】:
以上是关于Spark Kotlin - 创建空数据集的主要内容,如果未能解决你的问题,请参考以下文章
使用空数据集的Spark SQL连接会导致更大的输出文件大小
Apache Spark - 在java中返回空数据集的映射函数