注意：
问题：Failed:execution error: return code 1 from org.apache.hadoop.hive.ql.exec.DDL Task MetaException(message:For direct metaStore DB connections,we dont‘t support retries)
解决方法：数据库字符集的问题。ALTER DATABASE hive CHARACTER SET latin1;
一、Scala基础
1. foreach： 无返回值
map： 有返回值
2.在Scala中重写非抽象方法必须用override修饰
二、Akka架构
1 ActorSystem是这个进程中的Actor的老大，负责创建和监控所有的actor
2 ActorSystem是单例的
3 actor负责通信
4.每个actor内部都是顺序执行的
三、Spark
1.Spark角色
Master -->管理所有的Worker，进而进行资源的调度
Worker -->管理当前计算节点,Worker会启动一个Executor来完成真正的任务
Executor -->
2.Spark算子分两类
Transformation 转换(延迟执行)，只会记录元数据信息和操作
Actions 动作
3.创建RDD有两种方式
a.通过HDFS支持的文件系统创建RDD，RDD里面没有真正要计算的数据，只记录了元数据
b.通过Scala集合或数组以并行化的方式创建RDD
4.RDD的特点
1)A list of partitions
2)A function for computing each split
3)A list of dependencies on each RDDS
4)Optionally, a Partitioner for key-value RDDS (e.g. to say that the RDD is hash-partitioned)
5)Optionally, a list of preferred locations to compute each split on