Windows环境下在IDEA编辑器中spark开发安装步骤

Posted xiaoshayu520ly

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Windows环境下在IDEA编辑器中spark开发安装步骤相关的知识,希望对你有一定的参考价值。

以下是windows环境下安装spark的过程:

  1.安装JDK(version:1.8.0.152)

  2.安装scala(version:2.11/2.12)

  3.安装spark(version:spark-2.3.0-bin-hadoop2.6.tgz) 

  4.安装wintuils(设置windows系统的环境变量HADOOP_HOME)

以下是spark开发环境搭建:

  1.scala插件安装

  2.全局JDK和Library的设置

  3.配置全局的scala SDK

  4.导入spark依赖包(spark-2.3.0-bin-hadoop2.7spark-2.3.0-bin-hadoop2.7jars)

以上是关于Windows环境下在IDEA编辑器中spark开发安装步骤的主要内容,如果未能解决你的问题,请参考以下文章

spark 2.x在windows环境使用idea本地调试启动了kerberos认证的hive

Spark机器学习速成宝典基础篇01Windows下spark开发环境搭建+sbt+idea(Scala版)

Spark源码剖析:如何将spark源码导入到IDEA中

从入门到入土 大数据学习 最简单windows下idea运行调试spark程序

IDEA+maven搭建scala开发环境(spark)(半转载)

Spark Idea Maven 开发环境搭建