下载页面上Spark的包类型有啥区别？
Posted
技术标签:
【中文标题】下载页面上Spark的包类型有啥区别？【英文标题】：What is the difference between the package types of Spark on the download page?下载页面上Spark的包类型有什么区别？ 【发布时间】：2015-06-01 17:18:31 【问题描述】：spark 的下载包类型有什么区别： 1) 为 hadoop 2-6-0 及更高版本预构建 2）源码（可以构建多个hadoop版本） 我可以为 hadoop 2-6-0 及更高版本安装一个预先构建的工具，但我不使用（hadoop、hdfs、hbase）就可以工作
ps :hadoop 2.6.0 已经安装在我的机器上。
【问题讨论】：
【参考方案1】：最后一个答案只针对 Q1，所以写这个。 对 Q2 的回答是肯定的，即使您使用带有特定 hadoop 版本的预构建 Spark，您也可以在不安装 hadoop 组件的情况下使用 spark。 Spark 在启动 master/workers 时会抛出一堆错误，只要你看到它们启动并运行，你（和 spark）就可以很高兴地忽略它们。 在应用方面，它从来都不是问题。
【讨论】：
【参考方案2】：不同之处在于它们所针对的 hadoop API 版本。要与 Hadoop 安装互操作，需要针对该 API 构建 Spark。例如org.apache.hadoop.mapred 与 org.apache.hadoop.mapreduce 的可怕冲突
如果您使用的是 Hadoop 2.6，请获取与您的 Hadoop 安装相匹配的二进制版本。
您还可以从源代码构建火花。这是源代码下载。如果您想从源代码构建，请按照此处列出的说明进行操作：https://spark.apache.org/docs/latest/building-spark.html
【讨论】：
以上是关于下载页面上Spark的包类型有啥区别？的主要内容，如果未能解决你的问题，请参考以下文章
有啥方法可以下载 _blogger_ 主题并将其上传到 _GitHub_ 页面，而不是从头开始编码 **css** 或使用 **jekyll** 主题？