spark实验四

Posted 2021-03-11 muailiulan

第二题：

 

 

 

 

 

 第一步：在当前目录下新建一个目录 mkdir -p 

 

src/main/scala，然后在目录/usr/local/spark/mycode/remdup/src/main/scala 下新建一个

remdup.scala

 

 

 

在目录/usr/local/spark/mycode/remdup 目录下新建 simple.sbt

 

 

 

 

在目录/usr/local/spark/mycode/remdup 下执行下面命令打包程序

 

 

 

最后在目录/usr/local/spark/mycode/remdup 下执行下面命令提交程序

 

 

 

在目录/usr/local/spark/mycode/remdup/result 下即可得到结果文件。