使用scala开发spark入门总结

Posted 2020-08-24 chen-kh

使用scala开发spark入门总结

一、spark简单介绍

关于spark的介绍网上有很多，可以自行百度和google，这里只做简单介绍。推荐简单介绍连接：http://blog.jobbole.com/89446/

1、    spark是什么？

Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。一般配合hadoop使用，可以增强hadoop的计算性能。

2、    Spark的优点有哪些？

Spark拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。

值得注意的是：spark是通过scala这一编程语言开发的。虽然spark的开发语言支持java和python，但是编写spark程序最好还是使用scala编写，一是代码简洁，二是函数式的易读性比较好，最重要的是scala能够帮助我们更好的理解spark的工作过程。

 

二、Scala和sbt简单介绍

Scala 是一门多范式（multi-paradigm）的编程语言，设计初衷是要集成面向对象编程和函数式编程的各种特性。Scala 运行在Java虚拟机上，并兼容现有的Java程序。Scala 源代码被编译成Java字节码，所以它可以运行于JVM之上，并可以调用现有的Java类库。

Scala推荐学习网站：http://www.runoob.com/scala/scala-tutorial.html 如果喜欢看视频教程的话推荐慕课网的scala教程：http://www.imooc.com/learn/613

类似于开发Java程序使用maven管理项目，scala项目的管理工具是sbt。Sbt是Simple Build Tool的缩写，它是对scala或Java语言进行编译的一个工具，它需要JDK1.6或更高的版本支持。

 

三、安装scala和sbt

具体的安装网上有很多教程，都介绍的很清楚。下面是一些推荐的连接。

Scala官网链接：http://www.scala-lang.org/

Scala安装链接：http://www.runoob.com/scala/scala-install.html （与jdk的安装大同小异）

Sbt安装链接：http://www.importnew.com/4311.html 详细介绍了sbt的优点，项目目录结构，如何常见一个sbt工程等。

值得注意的是：

l  sbt安装并不困难，但是安装完成之后再命令窗口第一次运行sbt命令的时候，sbt会默认下载需要用到的包，这个过程非常消耗时间，需要耐心等待，如果遇到一些包很大，很长时间都没有下载完成的话，可以手动下载这个包，并把包放到命令行显示的路径下面。

l  sbt的本地仓库尽量修改，默认目录在C盘。

四、使用开发工具

Scala的IDE一般有两个：Scala IDE for Eclipse 和 IntelliJ Idea，对于习惯使用eclipse的用户可以使用scala ide for eclipse，下载链接：http://scala-ide.org/。两个IDE都比较好用。个人感觉，idea对于插件的安装以及win环境下命令窗口的支持要比eclipse好用一点，更推荐使用idea开发。

使用sbt：

真正写起程序和项目来，肯定要使用项目管理工具的。Sbt是编写scala项目的常用管理工具。

1. Sbt项目构建

Sbt目前使用的人还不是很多，不能要求像maven那样方便。Sbt项目的结构目录为：

 

src目录详解

Maven用户对src目录的结构应该不会感到陌生，下面简单介绍各个子目录的作用。

• · src/main/java目录存放Java源代码文件
• · src/main/resources目录存放相应的资源文件
• · src/main/scala目录存放Scala源代码文件
• · src/test/java目录存放Java语言书写的测试代码文件
• · src/test/resources目录存放测试起见使用到的资源文件
• · src/test/scala目录存放scala语言书写的测试代码文件

build.sbt详解

读者可以简单的将build.sbt文件理解为Maven项目的pom.xml文件，它是build定义文件。 SBT运行使用两种形式的build定义文件，一种就是放在项目的根目录下，即build.sbt， 是一种简化形式的build定义； 另一种放在project目录下，采用纯Scala语言编写，形式更加复杂，当然，也更完备，更有表现力。

         具体的使用可以参照网上的介绍

推荐链接：http://www.th7.cn/Program/java/201309/149445.shtml

1. sbt项目生成

上面介绍的这些目录可以自己创建，然后导入到IDE中。生产相应IDE的工具有：

Sbt Eclipse 插件：

推荐链接：http://www.cnblogs.com/rxingyue/p/4398591.html

有2种配置方式：一种是在 ~/.sbt/0.13/plugins//build.sbt 里配置addPlugin,这种做法是全局的插件，即对本机所有sbt项目均使用。另一种是每个项目不一样的plugins，则是在每个项目跟目录下project/plugins.sbt里进行插件配置。 plugins.sbt里面内容配置，添加插件：addSbtPlugin("com.typesafe.sbteclipse" % "sbteclipse-plugin" % "2.4.0")

在根目录的build.sbt里添加EclipseKeys.createSrc := EclipseCreateSrc.Default + EclipseCreateSrc.Resource，再执行sbt eclipse。

这样就可以生成eclipse项目了，直接导入项目就可以使用了。

 

 

Sbt Idea 插件：

在项目目录下的project/plugins.sbt中添加插件

addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")

在命令行输入sbt ，会自动安装插件。

安装完插件之后，在命令行（项目根目录）输入sbt gen-idea可以帮我们生成IntelliJ Idea的相关文件。

 

以上两个插件还有一个重要作用就是可以帮我们导入build.sbt中用到的依赖，这样我们就可以在开发环境进行一些测试。

1. sbt项目打包

使用assembly插件。参照博客：http://www.cnblogs.com/rxingyue/p/4398591.html

Assembly是作为一种插件的，所以要在project下面的plugins.sbt里面配置。

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")

除了插件的配置之外，还需要配置跟目录下build.sbt，支持assembly，在文件头部加入：

import AssemblyKeys._

assemblySettings

五、一些坑及解决办法

1、    Sbt下载依赖慢

这是很正常的问题，毕竟默认的远程仓库都在国外。可以选择更改库，可以全局更改，也可以针对项目进行更改，在build.sbt里面配置内容：

resolvers ++= Seq(

  // HTTPS is unavailable for Maven Central

  "Maven Repository" at "http://repo2.maven.apache.org/maven2",

  "Apache Repository" at "https://repository.apache.org/content/repositories/releases",

  "MQTT Repository" at "https://repo.eclipse.org/content/repositories/paho-releases/",

  "Cloudera Repository" at "http://repository.cloudera.com/artifactory/cloudera-repos/",

  Resolver.mavenLocal

)

另外的办法：对于一些比较大的包，可以手动下载然后放到相应的目录。（一般把下载的地址给迅雷，下载会快很多，这种办法只针对个别情况）

2、    依赖的版本问题

互相依赖的包之间，可能出现版本的冲突，最好保持版本一致。

形如

libraryDependencies ++= Seq(

  "org.json4s" %% "json4s-native" % "3.2.10",

  "org.json4s" %% "json4s-jackson" % "3.2.10"

)

中间两个百分号的依赖是不指定版本的，版本有scala的版本确定。

形如

libraryDependencies += "org.apache.kafka" % "kafka_2.10" % "0.10.0.0"

中间有一个百分号的依赖是指定版本的。

3、    Sbt找不到依赖

找不到依赖，可以在引用的依赖后面写一下依赖的地址。例如：

libraryDependencies += "net.sf.json-lib" % "json-lib" % "2.4" from "http://repo1.maven.org/maven2/net/sf/json-lib/json-lib/2.4/json-lib-2.4-jdk15.jar"

六、Spark经典入门示例

1、    WordCount

2、    SparkStreaming读取kafka数据

这些程序都可以在官方网站查看得到。