Spark寒假自学第二天

Posted 2021-03-13 jinseliunian

首先要配置spark环境：包括linux系统的安装，java，ssh，Hadoop，Scala，spark的安装与环境变量设置。

linux虚拟机、ssh、Hadoop已经安装完毕，Scala，spark还未安装

然后进行java的学习，在以前的学习中java已经学习了一部分，这次还需要继续进行相应的学习。

Hadoop学习：HDFS，MR计算框架，在大三上学期已经初步接触了这方面的内容。在学习中了解到spark也是需要在HDFS上进行数据获取的，学习Hadoop才能知道其不足，明白spark的优势，为什么Hadoop必死。在hdfs的操作指令也必须掌握。要学会写MapReduce程序。

Scala学习：重点明白函数式编程。使用Scala操作RDD。

spark学习：最好学习spark的方式就是看官方文档，读源码，看博客https://www.cnblogs.com/BYRans/p/5057110.html