spark环境搭建(idea版本)

Posted 2022-02-12 红目香薰

📋前言📋

💝博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主💝

✍本文由在下【红目香薰】原创，首发于CSDN✍

🤗2022年最大愿望：【服务百万技术人次】🤗

---

导读：

为了对初学者可以进行友好的交流，本文通过windows的idea快速搭建spark的运行环境，让初学者可以快速的感受spark带来的惊艳感受。

Linux效果更佳，但是对初学者没那么友好，咱们先搞定windows之后再琢磨就会容易很多。

那么接下来如果有环境的话大概5~7分钟就能搞定哦。

目录

📋前言📋

导读：

环境需求

正文

步骤一：安装【Scala】插件

步骤二、maven引包

         步骤三、创建Scala类

---

环境需求

环境：win10

开发工具：IntelliJ IDEA 2021.2

maven版本：3.6.3

正文

创建【maven】空项目的步骤我就省略了啊。直接进入主题：

步骤一：安装【Scala】插件

点击【左上角】的【File】，选择【Settings...】

选择【Plugins】在输入框中输入【Scala】等待几秒后，看到显示【Scala】点击【Install】当显示为【Installed】代表安装成功了。

步骤二、maven引包

打开【pom.xml】

初始状态：

输入以下编码内容：

    <!-- 基础配置 -->
    <build>
        <plugins>
            <plugin>
                <groupId>net.alchim31.maven</groupId>
                <artifactId>scala-maven-plugin</artifactId>
                <version>3.2.2</version>
                <executions>
                    <execution>
                        <goals>
                            <goal>testCompile</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.1.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

粘贴位置：

需要重新加载一下maven

这里别急，需要等待，可能3分钟哦。

步骤三、创建Scala类

这里需要在创建位置点击【鼠标右键】依次选择【New】-【Scala Class】

输入个类名，并且需要选择【Object】类型，键盘敲击【Enter】回车即可。

项目结构如下：

 输入以下编码：

  def main(args: Array[String]): Unit = 
    print("hello world!")
  

【鼠标右键】点击【Run】执行即可，第一次执行需要的时间比较长，请耐心等待，可能【1分钟】后才能出来结果哦。

最终效果如下：

恭喜你，搭建环境结束，您的第一个大数据【spark】的【Hello World】打印出来了。