如何查看spark与hadoopkafkaScalaflumehive等兼容版本适用于任何版本
Posted About云
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了如何查看spark与hadoopkafkaScalaflumehive等兼容版本适用于任何版本相关的知识，希望对你有一定的参考价值。
问题导读
1.通过什么途径，可以查看与spark兼容的组件版本？
2.如何获取pom文件？
3.pom文件中包含了哪些信息？
4.spark编译通过什么参数可以指定hadoop版本？
当我们安装spark的时候，很多时候都会遇到这个问题,如何找到对应spark的各个组件的版本，找到比较标准的版本兼容信息。答案在spark源码中的pom文件。首先我们从官网下载源码。进入官网
[Bash shell] 纯文本查看 复制代码
?
|
1
以上是关于如何查看spark与hadoopkafkaScalaflumehive等兼容版本适用于任何版本的主要内容，如果未能解决你的问题，请参考以下文章 如何在 Spark 的 github 中查看 Functions.Scala 中的代码 spark 中如何查看单个RDD分区的内容（创建分区，查看分区数） |