存储格式的选择：
采取行式还是列式存储？
列存储写入时次数多，损耗时间多
反过来查询的时候较快
压缩格式的选择：
考虑压缩速度和压缩文件的分割性
压缩能够较少存储空间、提高数据传输速度
Spark中默认的压缩格式是“snappy”
代码的优化：
选择的高性能的算子：
foreachPartition => partitionOfRecords.foreach 获得每一条数据
分区的好处是把partition所有的数据先保存到list当中去，然后我们在插入mysql的时候就可以结合pstmt的批处理，一次过把整个分区数据写进去
复用已有的数据：
在项目中，如果同时实现多个功能（本例中就是有三个），在计算时观察每个功能间是否有重叠产生的数据，若有的话把相应的数据提取出来生成，所有的功能实现都能共用（相当于做一个缓存，把中间数据cache ）
参数的优化：
并行度：spark.sql.shuffle.partitions
默认的是200，配置的是partitions的数量，对应了task的数量
若觉得运行得太慢，则需要吧这个值调大
在conf里面改（YARN启动时）
分区字段类型推测：spark.sql.sources.partitionColumnTypeInference.enabled
默认为开启，若开启之后系统就会自动推测分区字段的类型
关闭后能提升性能