spark环境搭建(idea版本)

Posted 红目香薰

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了spark环境搭建(idea版本)相关的知识,希望对你有一定的参考价值。

📋前言📋

💝博客主页:红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝

✍本文由在下【红目香薰】原创,首发于CSDN✍

🤗2022年最大愿望:【服务百万技术人次】🤗


导读:

为了对初学者可以进行友好的交流,本文通过windows的idea快速搭建spark的运行环境,让初学者可以快速的感受spark带来的惊艳感受。

Linux效果更佳,但是对初学者没那么友好,咱们先搞定windows之后再琢磨就会容易很多。

那么接下来如果有环境的话大概5~7分钟就能搞定哦。

目录

📋前言📋

导读:

环境需求

正文

步骤一:安装【Scala】插件

步骤二、maven引包

         步骤三、创建Scala类


环境需求

环境:win10

开发工具:IntelliJ IDEA 2021.2

maven版本:3.6.3

正文

创建【maven】空项目的步骤我就省略了啊。直接进入主题:

步骤一:安装【Scala】插件

点击【左上角】的【File】,选择【Settings...】

选择【Plugins】在输入框中输入【Scala】等待几秒后,看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。

步骤二、maven引包

打开【pom.xml】

初始状态:

输入以下编码内容:

    <!-- 基础配置 -->
    <build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.1.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

粘贴位置:

需要重新加载一下maven

这里别急,需要等待,可能3分钟哦。

步骤三、创建Scala类

这里需要在创建位置点击【鼠标右键】依次选择【New】-【Scala Class】

输入个类名,并且需要选择【Object】类型,键盘敲击【Enter】回车即可。

项目结构如下:

 输入以下编码:

  def main(args: Array[String]): Unit = 
    print("hello world!")
  

【鼠标右键】点击【Run】执行即可,第一次执行需要的时间比较长,请耐心等待,可能【1分钟】后才能出来结果哦。

最终效果如下:

恭喜你,搭建环境结束,您的第一个大数据【spark】的【Hello World】打印出来了。 

以上是关于spark环境搭建(idea版本)的主要内容,如果未能解决你的问题,请参考以下文章

Mac上搭建spark开发环境

Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)

spark windows idea开发环境搭建

Spark Idea Maven 开发环境搭建

Spark高效数据分析01idea开发环境搭建

如何在Mac使用Intellij idea搭建远程Hadoop开发环境