spark学习——spark shell学习

Posted 2021-03-10 九离

　今天按照实验三进行了相关的操作，实验三之前的是关于hadoop 以及hdfs的相关命令的使用，也包括Hadoop以及spark的安装，我之前就已经完成了相关环境的配置，所以我今天直接做了实验三中的spark shell命令的一部分，今天编程的部分因为之前理解了scala的一些编程方法所以今天进行的很顺利，唯一的问题就是对spark shell打包时候的相关语句不是很熟悉，，但是还是经过自己的理解完成了相关的shell命令的编程。

　　shell界面代码。

 

 打包代码（第一次运行时间有点长）

　　

 

之前的Hadoop的安装我是按照教程一步一步安装的，没有什么突发状况。