大数据Spark Dataset

Posted 2021-09-10 赵广陆

目录

• 1 Dataset 是什么
• 2 对比DataFrame
• 3 RDD、DF与DS转换
• 4 面试题：如何理解RDD、DataFrame和Dataset

---

1 Dataset 是什么

Dataset是在Spark1.6中添加的新的接口，是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame的优点。

1. 与RDD相比：保存了更多的描述信息，概念上等同于关系型数据库中的二维表；
2. 与DataFrame相比：保存了类型信息，是强类型的，提供了编译时类型检查，调用Dataset的方法先会生成逻辑计划，然后被Spark的优化器进行优化，最终生成物理计划，然后提交到集群中运行；
   Dataset是一个强类型的特定领域的对象，这种对象可以函数式或者关系操作并行地转换。
   
   从Spark 2.0开始，DataFrame与Dataset合并，每个Dataset也有一个被称为一个DataFrame的类型化视图，这种DataFrame是Row类型的Dataset，即Dataset[Row]。

Dataset API是DataFrames的扩展，它提供了一种类型安全的，面向对象的编程接口。它是一个强类型，不可变的对象集合，映射到关系模式。在数据集的核心 API是一个称为编码器的新概念，它负责在JVM对象和表格表示之间进行转换。表格表示使用Spark内部Tungsten二进制格式存储，允许对序列化数据进行操作并提高内存利用率。Spark 1.6支持自动生成各种类型的编码器，包括基本类型（例如String，Integer，Long），Scala案例类和Java Bean。针对Dataset数据结构来说，可以简单的从如下四个要点记忆与理解：

Spark 框架从最初的数据结构RDD、到SparkSQL中针对结构化数据封装的数据结构DataFrame，最终使用Dataset数据集进行封装，发展流程如下。

所以在实际项目中建议使用Dataset进行数据封装，数据分析性能和数据存储更加好。

2 对比DataFrame

Spark在Spark 1.3版本中引入了Dataframe，DataFrame是组织到命名列中的分布式数据集合，
但是有如下几点限制：

1. 编译时类型安全：

• Dataframe API不支持编译时安全性，这限制了在结构不知道时操纵数据。
• 以下示例在编译期间有效。但是，执行此代码时将出现运行时异常。
  

2. 无法对域对象（丢失域对象）进行操作：

• 将域对象转换为DataFrame后，无法从中重新生成它；
• 下面的示例中，一旦我们从personRDD创建personDF，将不会恢复Person类的原始RDD
  （RDD [Person]）；

基于上述的两点，从Spark 1.6开始出现Dataset，至Spark 2.0中将DataFrame与Dataset合并，其中DataFrame为Dataset特殊类型，类型为Row。

针对RDD、DataFrame与Dataset三者编程比较来说，Dataset API无论语法错误和分析错误在编译时都能发现，然而RDD和DataFrame有的需要在运行时才能发现。
此外RDD与Dataset相比较而言，由于Dataset数据使用特殊编码，所以在存储数据时更加节省内存。

3 RDD、DF与DS转换

实际项目开发中，常常需要对RDD、DataFrame及Dataset之间相互转换，其中要点就是Schema约束结构信息。

1. 1）、RDD转换DataFrame或者Dataset

• 转换DataFrame时，定义Schema信息，两种方式
• 转换为Dataset时，不仅需要Schema信息，还需要RDD数据类型为CaseClass类型

2. 2）、Dataset或DataFrame转换RDD

• 由于Dataset或DataFrame底层就是RDD，所以直接调用rdd函数即可转换
• dataframe.rdd 或者dataset.rdd

3. 3）、DataFrame与Dataset之间转换

• 由于DataFrame为Dataset特例，所以Dataset直接调用toDF函数转换为DataFrame
• 当将DataFrame转换为Dataset时，使用函数as[Type]，指定CaseClass类型即可。
  范例演示：分别读取people.txt文件数据封装到RDD、DataFrame及Dataset，查看区别及相互转换。

1. 第一步、加载文件数据，封装不同数据结构
   Dataset转换为RDD和DataFrame：
2. 第二步、加载JSON数据，将DataFrame转换为Dataset
   完整演示代码如下：

import org.apache.spark.rdd.RDD
import org.apache.spark.sql.{DataFrame, Dataset, SparkSession}

/**
 * 官方案例演示Dataset是什么：
 * http://spark.apache.org/docs/2.4.5/sql-getting-started.html#creating-datasets
 */
object SparkDatasetExample {
  def main(args: Array[String]): Unit = {
    // 构建SparkSession实例对象
    val spark: SparkSession = SparkSession
      .builder() // 使用建造者模式构建对象
      .appName(this.getClass.getSimpleName.stripSuffix("$"))
      .master("local[3]")
      .getOrCreate()
    import spark.implicits._
    // 演示案例一：加载文本数据，分别封装到RDD、DataFrame和Dataset中
    // 其一、SparkContext加载，封装RDD
    val peoplesRDD: RDD[String] = spark.sparkContext
      .textFile("datas/resources/people.txt")
    // 其二、调用text函数，封装DataFrame
    val peoplesDF: DataFrame = spark.read.text("datas/resources/people.txt")
    // 其三、调用textFile函数，封装Dataset
    val peoplesDS: Dataset[String] = spark.read.textFile("datas/resources/people.txt")
    // DataFrame转换为RDD
    peoplesDF.rdd
    // Dataset转换为RDD或者DataFrame
    peoplesDS.toDF()
    peoplesDS.rdd
    // 演示案例二：加载Json格式数据，DataFrame转换为Dataset
    val jsonDF: DataFrame = spark.read.json("datas/resources/employees.json")
    jsonDF.printSchema()
    val jsonDS: Dataset[Employee] = jsonDF.as[Employee]
    jsonDS.show(10)
    // 应用结束，关闭资源
    spark.stop()
  }
}

4 面试题：如何理解RDD、DataFrame和Dataset

SparkSQL中常见面试题：如何理解Spark中三种数据结构RDD、DataFrame和Dataset关系？

1. 第一、数据结构RDD：

• RDD（Resilient Distributed Datasets）叫做弹性分布式数据集，是Spark中最基本的数据
  抽象，源码中是一个抽象类，代表一个不可变、可分区、里面的元素可并行计算的集合。
• 编译时类型安全，但是无论是集群间的通信，还是IO操作都需要对对象的结构和数据进行
  序列化和反序列化，还存在较大的GC的性能开销，会频繁的创建和销毁对象。

2. 第二、数据结构DataFrame：

• 与RDD类似，DataFrame是一个分布式数据容器，不过它更像数据库中的二维表格，除了
  数据之外，还记录这数据的结构信息（即schema）。
• DataFrame也是懒执行的，性能上要比RDD高（主要因为执行计划得到了优化）。
• 由于DataFrame每一行的数据结构一样，且存在schema中，Spark通过schema就能读懂
  数据，因此在通信和IO时只需要序列化和反序列化数据，而结构部分不用。
• Spark能够以二进制的形式序列化数据到JVM堆以外（off-heap：非堆）的内存，这些内
  存直接受操作系统管理，也就不再受JVM的限制和GC的困扰了。但是DataFrame不是类
  型安全的。

3. 第三、数据结构Dataset：

• Dataset是DataFrame API的一个扩展，是Spark最新的数据抽象，结合了RDD和DataFrame
  的优点。
• DataFrame=Dataset[Row]（Row表示表结构信息的类型），DataFrame只知道字段，但
  是不知道字段类型，而Dataset是强类型的，不仅仅知道字段，而且知道字段类型。
• 样例类CaseClass被用来在Dataset中定义数据的结构信息，样例类中的每个属性名称直接
  对应到Dataset中的字段名称。
• Dataset具有类型安全检查，也具有DataFrame的查询优化特性，还支持编解码器，当需
  要访问非堆上的数据时可以避免反序列化整个对象，提高了效率。
  RDD、DataFrame和DataSet之间的转换如下，假设有个样例类： case class Emp(name: String)， 相互转换

RDD转换到DataFrame：rdd.toDF(“name”)
RDD转换到Dataset：rdd.map(x => Emp(x)).toDS
DataFrame转换到Dataset：df.as[Emp]
DataFrame转换到RDD：df.rdd
Dataset转换到DataFrame：ds.toDF
Dataset转换到RDD：ds.rdd

RDD与DataFrame或者DataSet进行操作，都需要引入隐式转换import spark.implicits._，其中的spark是SparkSession对象的名称！