Spark2.3.1中用各种模式来跑官方Demo

Posted 2021-01-09 puppey

1  使用单机local模式提交任务

          local模式也就是本地模式，也就是在本地机器上单机执行程序。使用这个模式的话，并不需要启动Hadoop集群，也不需要启动Spark集群，只要有一台机器上安装了JDK、Scala、Spark即可运行。

        进入到Spark2.1.1的安装目录，命令是：

cd  /opt/spark/spark-2.1.1-bin-hadoop2.7

　　 执行命令，用单机模式运行计算圆周率的Demo：

./bin/spark-submit  --class   org.apache.spark.examples.SparkPi  --master   local  examples/jars/spark-examples_2.11-2.1.1.jar

　　如图:

2  使用独立的Spark集群模式提交任务

            这种模式也就是Standalone模式，使用独立的Spark集群模式提交任务，需要先启动Spark集群，但是不需要启动Hadoop集群。启动Spark集群的方法是进入$SPARK_HOME/sbin目录下，执行start-all.sh脚本，启动成功后，可以访问下面的地址看是否成功：

        http://Spark的Marster机器的IP:8080/

如图：

 执行命令，用Standalone模式运行计算圆周率的Demo：

./bin/spark-submit   --class   org.apache.spark.examples.SparkPi   --master   spark://192.168.27.143:7077   examples/jars/spark-examples_2.11-2.1.1.jar

　　如图: