小记--------sparkSQL - spark基础知识

Posted 于二黑

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了小记--------sparkSQL - spark基础知识相关的知识,希望对你有一定的参考价值。

1.RDD 是spark的核心数据结构,全称是弹性分布式数据集。
    本质上是一种分布式的内存抽象,表示一个只读的数据分区集合。一个RDD通常只能通过其他的RDD转换而创建,RDD定义了各种丰富的转换操作,通过转换操作,新的RDD包含了如何从其他RDD衍生所必须的信息。这些信息构成了RDD之间的依赖关系。
    依赖关系具体分为两种: 窄依赖(RDD之间分区时一一对应的);宽依赖(RDD之间是多对多的关系)
    而其中窄依赖的所有转换操作可以通过类似管道的方式全部执行。
              宽依赖意味着数据需要在不同节点之间shuffle传输
 
1.1 RDD算子包括两类:
    transformation:用来将RDD进行转换,构建RDD的依赖关系
    action:用来触发RDD的计算,得到RDD的相关计算结果或将RDD保存到文件系统中。
 
概括而言:基于RDD的计算任务可描述为:从稳定的物理存储(如分布式文件系统HDFS)中加载记录,记录被传入由一组确定性操作构成的DAG(有向无环图),然后写回稳定存储。RDD还可以将数据集缓存到内存中,是的多个操作之间可以很方便的重用数据集、
 
容错性
    基于RDD之间的依赖,一个任务流可以描述为DAG,在实际执行的时候RDD通过Lineage信息(血缘关系)来完成容错,即使出现数据分区丢失,也可以通过Lineage 信息重建分区。但是如果是长时间迭代型应用,随着时间的退役,RDD之间的Lineage信息会越来越长,如果一但过程中出错,就需要很慌的Lineage信息重建分区,性能会大大降低。
    因此,RDD支持用checkpoint机制将数据保存到持久化的存储汇总,这样就可以切断之前的Lineage信息,因为checkpoint后的RDD不再需要知道它的父RDD, 可以直接从checkpoint处获取数据。
 
2.DataFrame和Dataset
    DataFrame与RDD一样,都是不可变分布式弹性数据集。    
区别是:
    RDD中的数据不包含任何结构信息。
    DataFrame中的数据集类似于关系型数据库中的表,按列名存储,具有Schema信息。
 
    DataFrame的数据抽象是命名元组(对应Row类型)
 
    Dataset比Dataframe更为强大。Dataframe本质上是一种特殊的Dataset(也就是Dataset[Row]类型)
    作为DataFrame的扩展,Dataset结合了RDD和DataFrame的有点:提供类型安全和面向对象的编程接口,并引入了编码器(Encoder)的概念。
// 案例
case class Person(name:String , age:Int)
val caseClass2DS = Seq(Person("ss" , 32)).toDS()
caseClass2DS.show()

 

 
// 其中在定义Person的类就起到了Encoder的作用,在映射过程中,Encoder首先检查定义的Person类的类型是否与数据相符,如果不相符,则能够及时提供有用的错误信息、。
// 类似于DataFrame, Dataset创建之后也能够很容易地使用lambda表达式操作
    其中Encoder不仅能够在编译阶段完成类型安全检查,还能够生成字节码与堆外数据进行交互,提供对各个属性的按需访问, 而不必对整个对象进行反序列化操作, 极大地减少了网络数据传输代价。
 
 
 

以上是关于小记--------sparkSQL - spark基础知识的主要内容,如果未能解决你的问题,请参考以下文章

SparkSQL程序设计

DataSkew —— 数据倾斜问题解析及解决方案实践总结小记

spark SQL和hive到底啥关系

使用 spark sql 在 intelliJ 上出现不相关的模棱两可的方法调用错误

数据集 javaRDD() 性能

Hive函数大全-完整版