在idea中调试spark程序-配置windows上的 spark local模式

Posted 2020-11-16 guoyu1

spark程序大致有如下运行模式：

　　　　　　standalone模式：spark自带的模式

 　　　　　　spark on yarn：利用hadoop yarn来做集群的资源管理

　　　　　　local模式：主要在测试的时候使用，       

　　这三个模式先大致了解，目前我用到的就是local和yarn。其中，我们写spark程序，一般在idea上写，若每次都要将程序打包，再上传到集群，再运行，将严重影响我们效率，所以在调试代码的时候，一般用local模式，在windows的idea上直接操作。

　　环境配置步骤如下：只做简要说明，各个步骤的具体安装可自行百度

     　　1、jdk安装，基础环境

             2、hadoop安装，spark要用到hadoop的windows的本地hdfs库，若不安装报如下错误：

　　　　　　Failed to locate the winutils binary in the hadoop binary path

               hadoop具体安装步骤：（1）先拷贝hadoop的tar.gz安装包，也就是安装到linux上的那个安装包，解压即可.

                                                       (2)去github下载https://github.com/srccodes/hadoop-common-2.2.0-bin，这个里面就是winutils，编译包

                                     　　　　（3）将common包解压，将bin下的所有文件拷贝到hadoop安装目录下的bin里，重复的文件覆盖。

                                                     (4)配置HADOOP_HOME和CLASSPATH，其中classpath指定winutils的具体位置。

           3、idea安装scala插件

           开始你的windows本地调试之旅吧