spark一些入门资料

Posted 2020-09-20 mfmdaoyou

spark一些入门资料

A Scala Tutorial for Java Programmers

http://docs.scala-lang.org/tutorials/scala-for-java-programmers.html

 

学习资源（视频教程，书，样例等）

spark.apache.org/documentation.html

 

入门指南

spark.apache.org/docs/latest/quick-start.html

 

编程指南

spark.apache.org/docs/latest/programming-guide.html

 

官网自带样例（极好，有local版。有spark版）

https://github.com/apache/spark/tree/master/examples/src/main/scala/org/apache/spark/examples

 

运行spark应用（利用spark-submit命令。事实上最底层是java调用）

spark.apache.org/docs/latest/submitting-applications.html

./spark-submit --class"SimpleApp" --master local[4] /home/linger/scala_target/SimpleApp.jar

 

运行官网自带的example能够利用run-example。该脚本封装了spark-submit命令。

./run-example SparkPi

 

run-example脚本有这么一句 EXAMPLE_MASTER=${MASTER:-"local[*]"}默认master是local[*]。

依据这句shell，能够有一个方法改变着master。

在调用该脚本之前，export MASTER=local（或者其它）。

眼下不知道是否还有其它方法传递MASTER这个变量。

 

 

spark 开发环境搭建（不错）

http://blog.csdn.net/wankunde/article/details/41843217

 

http://bit1129.iteye.com/blog/2172164

设置完毕后，Error视图报错。说Eclipse依赖的Scala库有两份，一个是系统安装的Scala(C:\\Scala_2.11.4，一个是spark-assembly-1.2.0-hadoop2.4.0.jar中，而spark-assembly-1.2.0-hadoop2.4.0.jar中的版本号是2.10.4。因此两个版本号不一致而导致冲突

由于我们的代码是在Spark中执行。而Spark使用的Scala版本号是2.10.4。所以。开发环境中的Scala也应该是2.10.4。因此将2.11.4这个Scala库从Java Build Path删除掉

删除了之后。Eclipse继续报错，例如以下所看到的，也就是说。项目依赖的Scala版本号不如IDE的Scala版本号新。解决的方法例如以下

右击前面建的Scala项目，在右键弹出菜单中。选择Scala。然后在级联菜单中，选择Set Scala Installation，在弹出的对话框中选择，Fixed Scala Installation：2.10.4(bundled)

clean整个项目，Scala IDE的环境到此就配置完毕了。

 

 

scala-eclipse执行出现错误

java.lang.ClassNotFoundException

 

scala-ide

http://scala-ide.org/download/sdk.html

 

 

sbt是scala的构建工具

www.scala-sbt.org/documentation.html

sbt安装有点坑啊，安装完之后启动sbt还要下载东西

 

http://www.zhihu.com/question/23245141

 

SBT免FQ手冊

http://afoo.me/posts/2014-11-05-how-make-sbt-jump-over-GFW.html

 

离线环境下构建sbt项目

http://shzhangji.com/blog/2014/11/07/sbt-offline/

 

 

Scala SBT 第一次执行时下载文件失败

http://mooc.guokr.com/note/5879/

 

http://segmentfault.com/blog/zhongl/1190000002474507

加速 SBT 下载依赖库的速度

 

http://ju.outofmemory.cn/entry/74281

问候sbt一千遍之：加入全局镜像库

 

spark和机器学习技术博客

http://www.cnblogs.com/fxjwind/

 

http://blog.csdn.net/sunbow0

 

--------------------------------------------------------------------------------------------------------------------

Spark执行调试方法与学习资源汇总

http://blog.csdn.net/melodyishere/article/details/32353929

 

IntelliJ IDEA 安装scala插件。建立scalawith sbt project 的方法

http://8liang.cn/intellijidea-install-scala-plugin-create-with-sbt-project/

 

Apache spark的IntelliJ IDEA 开发环境搭建

http://8liang.cn/intellij-idea-spark-development/

 

Spark作业代码(源代码)IDE远程调试

http://www.iteblog.com/archives/1192

 

利用eclipse构建spark集成开发环境

http://datalab.int-yt.com/archives/505

 

Apache Spark学习：利用Eclipse构建Spark集成开发环境

http://dongxicheng.org/framework-on-yarn/spark-eclipse-ide/

spark一些配置信息

http://spark.apache.org/docs/latest/configuration.html

 

 本文作者：linger

本文链接：http://blog.csdn.net/lingerlanlan/article/details/46430915