关于scala工程结构（使用sbt）

Posted 2020-10-03 sayhihi

scala_project：
常用目录结构：
　　|lib：手动添加依赖包
　　|project
　　|　　|build.properties：build的版本号，可以不写，会自动下载
　　|　　|plugins.sbt：需要添加的插件,包括sbt的插件（addSbtPlugin），否则sbt gen-idea、assembly命令不能执行（can‘t find key gen-idea in sbt）
　　|　　|build.scala：功能类似于build.sbt，声明工程文件，同时通过setting方式设定工程名字、版本、依赖（需要Dependencies文件）等信息
　　|src
　　|　　|main
　　|　　　　|resources：工程的配置文件，sbt工程默认读取该目录下配置文件（ConfigFactory.load(),ConfigFactory.parseFile(),生成config）
　　|　　　　|scala
　　|　　　　|java
　　|　　|test
　　|　　　　|resources
　　|　　　　|scala
　　|　　　　|java
　　|target：生成工程jar包和idea工程的xml
　　|build.sbt：工程name、version、scalaVersion、libraryDependencies等

 

注意：build.sbt和build.scala可以取一即可。

一、使用build.sbt搭建工程：

A.build.sbt（每行以空行分割）

name:="config_read"

version:="1.1"

scalaVersion:="2.10.1"

libraryDependencies+="com.typesafe"%"config"%"1.2.1"  //依赖的第三方包

libraryDependencies+="org.slf4j"%"slf4j-api"%"1.7.7"  //依赖的第三方包

B.plugins.sbt（每行以空行分割）

//需要留空行，以下为sbt构建、编译、打包必须的插件
addSbtPlugin("com.github.mpeltonen" % "sbt-idea" % "1.6.0")

addSbtPlugin("com.eed3si9n" % "sbt-assembly" % "0.11.2")

addSbtPlugin("de.johoop" % "jacoco4sbt" % "2.1.5")

C.build.properties（指定sbt版本）

sbt.version=0.13.7

 

二、使用build.scala

目录结构（一个工程下多个子工程）：

|project

|BuildProject.scala

|Dependencies.scala

|plugins.sbt

|build.properties

|Common.scala

|rdd_proj

|date_goodsstatistic

|src

|mian

|resources

|scala

|java

|date_salaryincharge

|src

|main

|resources

|scala

|java

A.BuikdProject.scala（该文件为scala文件object，依赖于Dependencies）

import sbt.Keys._
import sbt._
import sbtassembly.AssemblyKeys._

object BuildProject extends Build {

lazy val goodsstatistic= project.in(file("rdd_proj/date_goodsstatistic")).settings(name := "date_goodsstatistic").
　　settings(Common.settings: _*).
　　settings(libraryDependencies ++= Dependencies.sparkCounterDependencies).
　　settings(assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)).
　　settings(assemblyJarName in assembly := s"date_goodsstatistic_1.2.1.jar")

lazy val salaryincharge = project.in(file("rdd_proj/date_salaryincharge")).settings(name := "date_salaryincharge").
　　settings(Common.settings: _*).
　　settings(libraryDependencies ++= Dependencies.sparkCounterDependencies).
　　settings(assemblyOption in assembly := (assemblyOption in assembly).value.copy(includeScala = false)).
　　settings(assemblyJarName in assembly := s"date_salaryincharge_1.3.1.jar")

}

B.Dependencies.scala（该文件为scala文件object）

import sbt._

object Dependencies {

val sparkDependencies: Seq[ModuleID] = Seq(

"org.apache.spark" % "spark-core" % "2.0.0" %“provided，test”,

"org.apache.spark" % "hadoop-common" % "2.11-2.0.2"% "provided,test",//provided指明环境含有该依赖包，本地test时需要下载，打包时不需要

"org.apache.spark" % "spark-hive" % "2.11-2.0.2"% "provided,test")

val featureDependencies:Seq[MoudleID]=Seq(

"org.scalatest" %% "scalatest" % "2.2.4" % "test",

"mysql" % "mysql-connector-java" % "5.1.31" % "test")

val sparkCounterDependencies:Seq[MoudleID]=sparkDependencies++featureDependencies:Seq

}

C.plugins.sbt（同一）

D.build.properties（同一）

E.Common.scala（可以指定scalaVersion）