spark 入门map reduce 最好的几个例子
Posted haozi_ncepu
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了spark 入门map reduce 最好的几个例子相关的知识，希望对你有一定的参考价值。
- 安装 Scala IDE
搭建 Scala 语言开发环境很容易，Scala IDE 官网 下载合适的版本并解压就可以完成安装，本文使用的版本是 4.1.0。
- 安装 Scala 语言包
如果下载的 Scala IDE 自带的 Scala 语言包与 Spark 1.3.1 使用的 Scala 版本 (2.10.x) 不一致，那么就需要下载和本文所使用的 Spark 所匹配的版本，以确保实现的 Scala 程序不会因为版本问题而运行失败。
请下载并安装 Scala 2.10.5 版本
- 安装 JDK
如果您的机器上没有安装 JDK，请下载并安装 1.6 版本以上的 JDK。
- 创建并配置 Spark 工程
打开 Scala IDE，创建一个名称为 Spark-exercise 的 Scala 工程。
图 1. 创建 scala 工程
在工程目录下创建一个 lib 文件夹，并且把您的 Spark 安装包下的 spark-assembly jar 包拷贝到 lib 目录下。
图 2. Spark 开发 jar 包
并且添加该 jar 包到工程的 classpath 并配置工程使用刚刚安装的 Scala 2.10.5 版本.，工程目录结构如下。
图 3. 添加 jar 包到 classpath
以上是关于spark 入门map reduce 最好的几个例子的主要内容，如果未能解决你的问题，请参考以下文章
Spark入门--Spark的reduce和reduceByKey
Spark：在 SparkSql 中使用 map 和 reduce
为啥 Spark 比 Hadoop Map Reduce 快