spark学习

Posted 2020-11-25 lq13035130506

（一）进入spark-shell命令界面（默认使用scala的命令界面）

 　1,如果进入了spark安装目录则使用、

　　1，一台机器启动spark：./bin/spark-shell --master <master-url>命令可进入shell界面，master-url参数可为：local[*]使用逻辑CPU多线程启动，local[n]，使用n个CPU线程启动

　　2，集群下启动spark：spark：//主机IP:7077（默认端口）

　　3，在CLASSPATH中添加jar包：./bin/spark-shell --master local[4] --jars code.jar

　　4，退出：(:quit)

　2,Yarn集群模式：

　　yarn-client：客户端电脑不能关，调试阶段

　　

　　yarn-cluster：客户端电脑关了不影响，正常使用阶段

　　

 

 　3,sbt是一款Spark用来对scala编写程序进行打包的工具（没安装成功）