Spark复杂数据结构

Posted xiaopihaierletian

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Spark复杂数据结构相关的知识,希望对你有一定的参考价值。

Scala一般使用两种类型的数据,val(常量)和var(变量),并且Scala提倡使用常量而不是变量;
所以当定义一个对象或变量时,我们所定义的这个对象是不变的;即我们所使用的Array,List都是不可变对象。

Scala同时支持可变集合、不可变集合,两个主要的包:

不可变集合:scala.collection.immutable
可变集合:scala.collection.mutable
Scala优先采用不可变集合,对于几乎所有的集合类,Scala都同时提供了 可变、不可变的版本。

数组 Array
元组 Tuple
列表 List
队列 Queue
映射 Map
集    Set

不可变集合继承层次图:

 

可变集合继承层次图:

 

以上是关于Spark复杂数据结构的主要内容,如果未能解决你的问题,请参考以下文章

Spark - 转换复杂的数据类型

Spark高级操作之json复杂和嵌套数据结构的操作一

Spark & Python 2.7 - 复杂的数据结构 - GroupByKey

Spark 2.4 提供的复杂数据结构函数

sparkSQL新增优化器实现复杂计算的快速预览

Spark使用DataFrame读取复杂JSON中的嵌套数组