spark dataframe 和 scala Map互相转换

Posted 2022-02-09 shiter

文章大纲

• 如何创建一个只有数据schema 的空dataframe？
• Dataframe to Map
• Map to Dataframe
• 结果
• 参考文献

---

spark 和scala 之间的数据转换，真是非常令人头疼，但是使用场景又非常的多，拆箱装箱实在是浪费时间，这篇文章我们来看看

spark dataframe 和 scala Map互相转换

如何创建一个只有数据schema 的空dataframe？

root
|-- k: string (nullable = true)
|-- v: integer (nullable = false)
You simply define schema for a data frame and use empty RDD[Row]:

import org.apache.spark.sql