Spark基础学习笔记14：Scala数据结构
Posted howard2005
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Spark基础学习笔记14：Scala数据结构相关的知识，希望对你有一定的参考价值。
文章目录
零、本讲学习目标
- 掌握数组的使用
- 掌握列表的使用
- 掌握映射的使用
- 掌握集合的使用
- 掌握元组的使用
Scala集合(collection)分为可变集合(mutable collection)和不可变集合(immutable collection)。可变集合可以对其中的元素进行修改、添加、移除；而不可变集合永远不会改变，但是仍然可以模拟添加、移除或更新操作。这些操作都会返回一个新的集合，原集合的内容不发生改变。
一、数组 (Array)
- Scala中的数组分为定长数组和变长数组，定长数组初始化后不可对数组长度进行修改，而变长数组则可以修改。
（一）定长数组
1、数组定义
（1）定义数组时初始化数据
- 自动推断数组类型
- 手动指定数据类型
（2）定义时指定数组长度，后赋值
- 先定义，后赋值
2、数组遍历
- 定义数组
arr
- 可以使用for循环对数组进行遍历，输出数组所有的元素
（1）传统for循环方式
- 通过数组下标来遍历数组元素
（2）增强for循环方式
- 直接遍历数组元素
3、常用方法
- Scala对数组提供了很多常用的方法，使用起来非常方便
- 定义数组
arr
（1）求数组中数值总和
- 调用
sum方法
（2）求数组中的最大值
- 调用
max方法
（3）求数组中的最小值
- 调用
min方法
（4）对数组进行升序排序
- 调用
.sorted方法
（5）对数组进行降序排序
- 调用
.sorted.reverse方法
（二）变长数组
1、数组定义
- 变长数组使用类
scala.collection.mutable.ArrayBuffer进行定义 - 定义一个变长
Int类型数组arr
- 利用
+=运算符添加数组元素
- 遍历数组
arr
- 利用
-=运算符删除数组元素
- 数组中有多个值为4的元素，则从前向后删除第一个匹配的元素，本次删除，第一个
4被删除了，但是第二4还依然存在。
2、数组合并
- Scala支持使用
++=符号将两个变长数组进行合并 - 定义两个变长数组
arr1和arr2，合并生成变长数组arr3
3、插入元素
- 使用insert()方法可以在数组指定位置插入一个元素
- 在数组arr的下标为1的位置插入两个元素666
- 注意：一次插入多个元素是要报错的
4、移除元素
- 使用remove()方法可以在数组的固定位置移除指定数量的元素
- 从数组arr的下标为1的位置开始移除2元素
- 如果移除起始位置+删除数量 > 数组长度，那么就会报错
二、列表 (List)
- Scala中的列表分为可变列表和不可变列表，默认使用的列表为不可变列表。不可变列表也可以增加元素，但实际上生成了一个新列表，原列表不变。列表元素类型可以相同，也可以不一致。
（一）不可变列表
1、创建不可变列表
- 创建一个
Int类型的列表-nums
- 创建一个混合类型的列表 -
list，元素类型被系统统一为Any
2、给列表添加元素
- 在列表
nums的头部追加一个元素0，生成一个新列表nums2，列表nums没有变的
- - 在列表
nums的尾部追加一个元素100，生成一个新列表num3，列表nums没有变的
3、列表合并操作
- List也支持合并操作
- 创建两个列表
list1和list2，合并生成列表list3
- 记得以前我们讲过Scala运算符与方法的等价性
list1 ++: list2与list1.:++(list2)是等价的list1 :++ list2与list1.++:(list2)是等价的
4、二维列表
- 列表的列表称为二维列表
- 定义二维列表
names
- 遍历二维列表
names
（二）可变列表
1、创建可变列表
- 可变List需要使用
scala.collection.mutable.ListBuffer类 - 创建列表时初始化数据
- 先创建空列表，然后添加数据
2、列表合并
- 将列表
list1与列表list2合并，list1在前，list2在后
- 将列表
list1与列表list2合并，list2在前，list1在后
- 注意，哪怕执行
list1 :++ list2，依然是list1在前，list2在后
三、映射 (Map)
- Scala中的Map也分可变Map和不可变Map，默认为不可变Map。
（一）不可变映射
1、创建不可变映射
- 创建不可变映射
mp，用键->值的形式
- 创建不可变映射
mp，用(键, 值)的形式
- 注意：Map是抽象类，不能实例化
2、遍历不可变映射
- 调用
mp.keys的foreach实现遍历
- 利用for循环来实现遍历
（二）可变映射
- 创建可变Map需要引入类scala.collection.mutable.Map，创建方式与上述不可变Map相同。
1、创建可变映射
- 创建可变映射
mmp
2、修改可变映射
- 将键
02的值改为man（键02存在，执行修改操作）
- 将键
05的值改为belle（键05存在，执行添加操作）
3、查询可变映射
- 查询键
02的值，如果没有查到，则返回-1
- 查询键
08的值，如果没有查到，则返回-1
4、添加元素
- 查看可变映射当前值
- 用两种方式添加元素
5、删除元素
- 删除存在的键 -
07对应的元素
- 删除不存在的键 -
11对应的元素，不报错，映射也没有变化
四、元组 (Tuple)
- 元组是一个可以存放不同类型对象的集合，元组中的元素不可以修改。
（一）定义元组
1、直接赋值定义元组
- 定义一个元组
t
2、创建指定长度的元祖
- 定义指定长度的元组，其中Tuple3是一个元组类，代表元组长度为3
- 目前，Scala支持的元组最大长度为22，即可以使用Tuple1到Tuple22。元组的实际类型取决于元素数量和元素的类型。
（二）访问元组
- 使用方法_1、_2、_3访问元组的元素，与数组和字符串的位置不同，元组的元素下标从1开始。
- 访问元组的第3个元素
- 访问元组的第6个元素（不存在的元素），报错
（三）迭代元组
- 使用元组的
productIterator()方法产生全部元素构成的迭代器，然后遍历迭代器
（四）元组转为字符串
- 使用Tuple.toString()方法可将元组全部元素组合成一个字符串
五、集合 (Set)
- Scala Set集合存储的对象不可重复。Set集合分为可变集合和不可变集合，默认情况下，Scala使用的是不可变集合，如果要使用可变集合，就需要引用scala.collection.mutable.Set类。
（一）定义集合
- 定义一个空的不可变集合
set1
- 定义一个非空的不可变集合
set2
（二）增减元素
- 与列表一样，对于不可变集合进行元素的增加和删除实际上会产生一个新集合，原来的集合并没有改变
- 创建一个不可变集合
set
- 添加一个集合不存在的元素
- 添加一个集合存在的元素
1，集合里始终只有一个1
- 减去一个存在的元素
2
- 减去一个不存在的元素
666
（三）集合方法
- 创建一个集合
cities
1、获取首元素
- 调用
head方法
2、获取去首子集合
- 调用
tail方法
3、两个集合求并集
- 利用
++求两个集合的并集
4、两个集合求交集
- 利用
.&或.intersect()方法求两个集合的交集
5、求集合的最值
- 利用
max和min方法求集合最值
六、课后作业
任务：IP地址去重
- 在项目根目录创建
ips.txt文件 - 创建
RemoveRepeatedIPs对象完成去重工作
192.168.234.21
192.168.234.22
192.168.234.21
192.168.234.21
192.168.234.23
192.168.234.21
192.168.234.21
192.168.234.21
192.168.234.25
192.168.234.21
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.27
192.168.234.21
192.168.234.29
192.168.234.21
192.168.234.26
192.168.234.21
192.168.234.25
192.168.234.25
192.168.234.21
192.168.234.22
192.168.234.21
- 运行程序，查看结果
以上是关于Spark基础学习笔记14：Scala数据结构的主要内容，如果未能解决你的问题，请参考以下文章