Mac上配置maven+eclipse+spark开发环境

Posted 2020-09-03 ljy2013

1、安装jdk

2、下载scala-ide。官网：http://scala-ide.org

3、安装maven

4、在eclipse中，配置maven的安装了路径。偏好设置--->maven--->installpath

5、修改maven的镜像文件，即setting.txt中的mirror。具体修改为如下：

  <mirrors>
    <mirror>
      <id>alimaven</id>
      <name>aliyun maven</name>
      <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
      <mirrorOf>central</mirrorOf>
    </mirror>
    <!-- mirror
     | Specifies a repository mirror site to use instead of a given repository. The repository that
     | this mirror serves has an ID that matches the mirrorOf element of this mirror. IDs are used
     | for inheritance and direct lookup purposes, and must be unique across the set of mirrors.
     |
    <mirror>
      <id>mirrorId</id>
      <mirrorOf>repositoryId</mirrorOf>
      <name>Human Readable Name for this Mirror.</name>
      <url>http://my.repository.com/repo/path</url>
    </mirror>
     -->
  </mirrors>

6、修改pom.xml文件中的内容：

（1）需要修改scala的版本

（2）需要添加spark依赖包

此时，保存就会从上面设置的镜像当中下载对应的jar包。若没有设置镜像的话，由于国外的有些包需要FQ，并且每次修改需要记载很长的时间。导致无法运行或者运行失败。

7、修改工程属性中对应的scala compiler版本。

到此基本上配置已经结束，如果通过执行：mvn clean package ；然后通过spark-submit提交运行的话，应该是不会抱错。但是本地运行的话，还是会报错，具体错误如下：

 Caused by: java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path

这个错误，通过Google和百度，找到一个帖子解决了这个办法：对应的网址：http://blog.csdn.net/stark_summer/article/details/47361603

通俗讲来，解决办法是：

8、解决7的问题。

（1）进入maven下载源的目录下：

　　cd  /Users/jeffery/.m2/repository/org/xerial/snappy/snappy-java/1.0.4.1

（2）解压snappy-java-1.0.4.1.jar文件

　　unzip snappy-java-1.0.4.1.jar

（3）进入目录：org/xerial/snappy/native/Mac/x86_64/

　　cd org/xerial/snappy/native/Mac/x86_64/

（4）复制文件：

　　cp libsnappyjava.jnilib libsnappyjava.dylib

（5）返回到解压前的目录下，并进行压缩

　　先备份。 cp snappy-java-1.0.4.1.jar snappy-java-1.0.4.1.jar.old 

      后压缩成圆文件名：jar cf snappy-java-1.0.4.1.jar org

ok了。