安装SBT环境运行Scala项目

Posted 平凡人笔记

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了安装SBT环境运行Scala项目相关的知识,希望对你有一定的参考价值。

介绍2种spark安装方式

通过docker的方式安装

下载docker文件

https://gitee.com/pingfanrenbiji/docker-spark

docker-compose up
  • 该docker-comose 编排了2个spark docker 一个是master 一个worker

  • worker依赖于master

访问spark页面

http://localhost:8080/
安装SBT环境运行Scala项目

通过源码方式安装

spark源码

https://gitee.com/pingfanrenbiji/spark

spark是基于scala语言开发的 所以需要安装stb环境 类似于maven、graddle jar包资源管理工具

先来一个简单的demo来安装下sbt环境

下载相关资源包
https://gitee.com/pingfanrenbiji/resource/tree/master/stb
安装SBT环境运行Scala项目
解sbt压缩包
安装SBT环境运行Scala项目
sbt/conf/ 目录下有两个配置文件 
sbtconfig.txt 仅适用于 Windows 平台
而 sbtopts 仅适用于 Mac/Linux 平台
配置sbt环境变量
#当前用户
vim ~/.bash_profile

export SBT_HOME=/Users/mengfanxiao/Documents/third_software/spark/sbt
export PATH=$PATH:$SBT_HOME/bin

source ~/.bash_profile

#所有用户
sudo vim /etc/profile  
source /etc/profile
Mac系统的环境变量

加载顺序为:/etc/profile /etc/paths ~/.bash_profile ~/.bash_login ~/.profile ~/.bashrc

/etc/profile和/etc/paths是系统级别的,系统启动就会加载

后面几个是当前用户级的环境变量

后面3个按照从前往后的顺序读取

如果/.bash_profile文件存在,则后面的几个文件就会被忽略不读了

如果/.bash_profile文件不存在,才会以此类推读取后面的文件

~/.bashrc没有上述规则,它是bash shell打开的时候载入的。
创建国内资源库配置
mkdir ~/.sbt

vim ~/.sbt/repositories

文件内容:
[repositories]
local
huaweicloud-maven: https://repo.huaweicloud.com/repository/maven/
maven-central: https://repo1.maven.org/maven2/
sbt-plugin-repo: https://repo.scala-sbt.org/scalasbt/sbt-plugin-releases, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/[artifact](-[classifier]).[ext]
设置所有项目均使用全局仓库配置,忽略项目自身仓库配置
vim sbt/conf/sbtopts
添加一行
-Dsbt.override.build.repos=true
添加资源库配置
vim sbt/conf/sbtopts
添加一行
-Dsbt.repository.config=/Users/mengfanxiao/.sbt/repositories

运行hello-scala

demo源码下载下来

安装SBT环境运行Scala项目

配置stb版本号1.3.0版本

由于SBT 1.3.0包含了多项性能提升,如果是已有的本地项目,请手动将项目的SBT构建版本改成1.3.0

vim project/build.properties
sbt.version = 1.3.0

执行stb安装相关依赖并进入stb命令行

sbt

第一次进入 sbt shell 时,由于需要下载相关依赖,大概需要几十秒时间,第二次及以后进入 sbt shell 会很快

安装SBT环境运行Scala项目

检查当前项目的SBT构建版本是否为1.3.0

sbtVersion
安装SBT环境运行Scala项目

确认全局仓库是否已经覆盖项目自身仓库

show overrideBuildResolvers
安装SBT环境运行Scala项目

确认仓库列表是否与 ~/.sbt/repositories/ 文件一致

安装SBT环境运行Scala项目

查看SBT本地缓存

确认一下是否从国内仓库下载依赖。针对不同的操作系统,对应的缓存路径如下:

Windows缓存路径是 /%LOCALAPPDATA%\Coursier\Cache\v1/ 

即如果用户名是mengfanxiao,则完整路径是 /C:\Users\mengfanxiao\AppData\Local\Coursier\Cache\v1/ 

Linux缓存路径为 /~/.cache/coursier/v1/ 

Mac缓存路径为 ~/Library/Caches/Coursier/v1 

编辑和运行程序

compile
run

就是run的这个main方法

后记

既然学会了如何运行scala项目 那么下一篇咱们运行下spark看看

时候不早了 要去上班了哦

以上是关于安装SBT环境运行Scala项目的主要内容,如果未能解决你的问题,请参考以下文章

Spark/Scala - 项目从 IntelliJ 运行良好,但 SBT 引发错误

Eclipse怎么全局搜索替换

基本目录中缺少 build.scala

使用 Scala IDE 中的 SBT

IDEA中使用SBT构建SCALA项目

SBT安装与编译运行