spark快速大数据分析学习笔记*初始化sparkcontext

Posted 2020-08-23 石头木

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark快速大数据分析学习笔记*初始化sparkcontext相关的知识，希望对你有一定的参考价值。

初始化SparkContext

1// 在java中初始化spark
2 import org.apache.spark.SparkConf;
3 import org.apache.spark.api.java.JavaSparkContext;
4 
5 SparkConf conf=new SparkConf().setMaster("local”).setAppName("my app");
6 //集群url:本例是运行在本地单机local；应用名，可以在集群管理器用户界面中找到你的应用
7 JavaSparkContext sc=new JavaSparkContext(conf);

关闭spark可以用SparkContext的stop()方法，或直接退出应用，如System.exit(0)或sys.exit()

参考《spark快速大数据分析》