从入门到入土大数据学习最简单windows下idea运行调试spark程序

Posted 2022-12-06 Lejeune

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了从入门到入土大数据学习最简单windows下idea运行调试spark程序相关的知识，希望对你有一定的参考价值。

从入门到入土大数据学习(4)windows下idea运行spark程序

继环境搭建和windows环境搭建之后，不可避免的需要在windows上进行开发，但是这种跨平台的开发本身就给开发者带来一定的难度。如果条件允许（指电脑内存足够大，且今后开发服务器上也会有LINUX图形化界面的情况），个人还是建议使用图形化界面，在windows上开发，笔者真的捣鼓了很久。

网上常见的windows上连接spark开发是使用idea本身自带远程，打开5005端口进行调试，还是比较复杂的，有兴趣的可以百度。

这里介绍一种自己捣鼓的方法，前提要求：

主机和虚拟机已经能互相访问（笔者使用了NAT，将主机映射到一个ip）
spark环境已经完成搭建，且能正常运行

导入类库

因为windows上没有相关类库，所以要导入相关类库，笔者将之前下载在linux上还未解压的hadoop、spark压缩包都复制到了主机上，并且解压。

打开idea,File-Project Structure
选择libraries,并选择加号，JAVA
选择相关类库
其中hadoop的库，在hadoop解压目录下share-hadoop下的所有文件夹和share-hadoop-common-lib

spark的类库在spark目录下jars目录下
只要选择以上的目录添加即可。

设置输出级别

在此后的实验里面会看到一大堆INFO,从而找不到输出，这不是我们希望的，所以将spark/conf目录下log4j.properties.template复制到src-main-scala-temp-resources目录下，并更名为log4j.properties，打开修改第19行

log4j.rootCategory=INFO, console

为

log4j.rootCategory=WARN, console

本地运行

很令人惊奇，spark居然能在windows上运行，不过想想也正常，spark开发语言是scala,里面调用了大量的java库运行在jvm上，想来也有很好的跨平台性。

到这一步已经能够在windows上进行单机调试了，不涉及虚拟机里面的集群，笔者在src-main-scala-temp下建立了hello.scala

package temp
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object hello 
    def main(args:Array[String]): Unit =
        val conf = new SparkConf().setAppName("app")
          .setMaster("local")
        val sc = new SparkContext(conf)
        sc.parallelize(Array(1,2,3,4)).foreach(println)

其中setMaster可以设置为local[N],N为线程数，默认为1

那么本地的spark单机就已经能运行了

如果只做到这一步，这样可以在windows上先调试好再打包成jar放到虚拟机里面运行。适合单机测试。

集群运行

本质上还是使用jar进行打包上传，所以要先设置导出jar的设置
打开File-Project Structure，选择Artifacts，加号jar,
From modules with dependencies……
选择项目，选择主类，选择copy to the output directory and link via manifest

确认后界面上会出现
经过测试，还需要再列表中找到你导出的jar包
点开后还会有一个别的东西，我这里是叫httpd,移除。如果不移除，输出的jar包里面会有一个Tomcat,凭空占好几十M,所以这里选择移除，我的图上已经移除了，所以看不到。

在调整你需要的路径，就可以保存了。

这样每一次编译都会更新你输出目录下的jar包。

之后输入代码

package temp
import org.apache.spark.SparkContext
import org.apache.spark.SparkConf

object hello 
    def main(args:Array[String]): Unit =
        val conf = new SparkConf().setAppName("app")
          .setMaster("spark://master:7077")
          .set("spark.driver.host","192.168.222.3")
          .setJars(Array("out/artifacts/spark_jar/spark.jar"))

        val sc = new SparkContext(conf)
        sc.parallelize(Array(1,2,3,4)).foreach(println)