spark在eclipse下V2-搭建Demo代码阅读环境

Posted 2020-10-13

https://files.cnblogs.com/files/wifi0/spark2.1.1example_api_sql_streaming_eclipseProject.zip
https://files.cnblogs.com/files/wifi0/runconfig.zip

 

 

 

搭建代码阅读环境

 

下载spark-2.1.1-bin-hadoop2.7.tgz

http://spark.apache.org/downloads.html

 

解压缩spark-2.1.1-bin-hadoop2.7.tgz

 

注意：以上的examples目录下的jar包和examples\\jars下的所有jar包，将被用来创建换一个eclipes UserLibrary。名为：spark2.1.1jars

 

 

下载winutils

https://github.com/steveloughran/winutils

 

 

Figure 6解压缩后:

 

 

创建spark2.1.1jars

eclipse->Window->Preferences->Java->Build Path->User Liberary->new

输入spark2.1.1jars。Add External Jars。

选择spark/jars中和spark/examples/jars两个目录中所有jar文件。

 

创建HADOOP_HOME

eclipse->Window->Preferences->Run/Debug->String substitution，HADOOP_HOME指向

F:/TDDOWNLOAD/winutils-master/winutils-master/hadoop-2.7.1

 

 

设置eclipse使用jdk8编译和用jdk8的lib。

 

 

 

以管理员身份运行eclipse

 

导入例子

File->Import->Existing Projects Into Workspace->select Archive File

选中spark2.1.1example_api_sql_streaming_eclipseProject.zip

确定。

 

这是导入后的样子。随后运行spark时，程序会添加目录到里面，注意清理。

 

 

 

在本机安装一个mysql服务器，root,root。或者修改对应代码 DataSource。