maven+scala+idea 环境构建

Posted 2022-07-04 lillcol

组建信息

组件	版本	下载地址
maven	3.6.1	https://maven.apache.org/
jdk	jdk1.8.0	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
Scala	2.11.7	https://www.scala-lang.org/download/all.html
IDEA	最新版本	http://www.jetbrains.com/idea/

---

idea+java+scala安装配置

idea+java+scala安装配置参考另一篇博文：Spark开发环境搭建（IDEA、Scala、SVN、SBT）

---

maven安装配置

进入官网首页

---

切换下载源

---

选择下载文件

---

解压文件（结构如下）

---

配置环境变量（默认你会了，不会就参考jdk配置）

---

验证 maven 安装配置

---

配置中央仓库（C:\\Tool\\maven3.6.1\\conf\\settings.xml）

加入如下内容

<!--如果不了解mirrorOf的含义 建议在这里只配置一个阿里云，其他的仓库再pom.xml中配置-->
<mirrors>
    <!-- nexus-aliyun 首选，放第一位,有不能下载的包，再去做其他镜像的选择  -->
    <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>central</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror>
</mirrors>

比如我大多数的jar 来自阿里云,
但是我用的 spark是cdh或者hdp的，在阿里云里面找不到，
那么我配置我可以在pom.xml文件中添加相关仓库信息

<!--hdp仓库-->
    <repositories>
        <repository>
            <id>hortonworks</id>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
        </repository>
    </repositories> 

---

配置本地仓库

目的：默认的仓库在C:\\Users\\Administrator\\.m2，
随着项目的变更，需要的jar可能越来越多，
如果存在系统盘会消耗大量的空间，所以可以把仓库迁移到非系统盘。

1. 默认系统盘
   

2. 修改配置文件(C:\\Tool\\maven3.6.1\\conf\\settings.xml)
   添加如下内容
   

<!--因为我只有一个ssd，且只有一个盘，所以还放在C盘，各位自己随意-->
<localRepository>C:/Tool/maven3.6.1/repository</localRepository>

1. 移动配置文件
   将C:\\Tool\\maven3.6.1\\conf\\settings.xml移动到C:\\Users\\Administrator\\.m2中(必须保证两边的文件内容一样)
   同时删除C:\\Users\\Administrator\\.m2下的repository文件夹
   

（这一步可以不做，在idea创建项目的时候 可以指定配置文件的路径）

---

配置idea

1. 新建一个maven项目
   

---

1. 配置jdk
   

---

1. 配置sdk
   
   (根据实际选择)
   

---

1. 添加scla结构
   在main文件夹中建立一个名为 scala 的文件夹
   

右键点击 scala 文件夹，
选择 Make Directory as，
然后选择Sources Root ，
（将 scala 文件夹标记为一个源文件的根目录，然后在其内的所有代码中的 package ，其路径就从此根目录下开始算起。）

---

1. 在scala建立scala文件
   

---

配置pom.xml

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>TestMaven</groupId>
    <artifactId>cn.lilcol</artifactId>
    <version>1.0-SNAPSHOT</version>

<!--aliyun外的仓库-->
    <repositories>
        <repository>
            <id>hortonworks</id>
            <url>https://repo.hortonworks.com/content/repositories/releases/</url>
        </repository>
    </repositories>

<!--具体依赖-->
    <dependencies>
        <!--spark-core_2.11：https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>
        
        <!--spark-streaming_2.11：https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>

        <!--spark-sql_2.11：https://repo.hortonworks.com/content/repositories/releases/-->
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>2.3.2.3.1.0.0-78</version>
        </dependency>
    </dependencies>


</project>

---

等待依赖添加完成查看本地仓库

1. External Libraries下查看情况（相关依赖已经添加）
   

2. 查看本地仓库（依赖已经存放在本地仓库）
   

---

至此环境配置完成
本文为原创文章，转载请注明出处！！！