寒假第九天

Posted 2021-03-12 zlj843767688

 

今天完成了实验四，对于spark-shell交互式编程更加了解和RDD以及对于编写独立应用程序sbt的打包编程去重也有了了解

之前安装完sbt后对于后面的打包需要下载一些文件一直失败，后来我把

 

在网上查询解决方案，找了很久终于

 教程里spark-core 换成了spark-sql 然后就下载成功了

1．spark-shell 交互式编程 

请根据给定的实验数据，在 spark-shell 中通过编程来计算以下内容

（1）该系总共有多少学生；

 

 

（2）该系共开设来多少门课程

；

 

 

（3）Tom 同学的总成绩平均分是多少；

 

 

（4）求每名同学的选修的课程门数

；

 

 

（5）该系 DataBase 课程共有多少人选

修；

 

 

（6）各门课程的平均分是多少

；

 

 

（7）使用累加器计算共有多少人选了 DataBase 这门课

。