如何检查 Spark 版本 [关闭]

Posted 2023-03-23

【中文标题】如何检查 Spark 版本 [关闭]

【英文标题】：How to check Spark Version [closed]

【发布时间】：2016-11-29 22:07:41

【问题描述】：

我想查看 cdh 5.7.0 中的 spark 版本。我在互联网上搜索过，但无法理解。请帮忙。

【问题讨论】：

见When is it justifiable to downvote a question?Meta Stack Overflow。

但我在发布之前尝试了一些事情。我没有找到任何帮助，这就是我在这里发布的原因

那就向我们展示你的努力。

最好以编程方式查找 spark 版本。那肯定是我的代码正在使用的那个。如何在python中做到这一点？谢谢

#print(pyspark.__version()__) #print(pyspark.version()) import pyspark #print(pyspark.version()) #print(pyspark.__version()__) print( pyspark.__version__) # 这行得通

【参考方案1】：

添加到@Binary Nerd

如果您使用的是 Spark，请使用以下命令获取 Spark 版本：

spark-submit --version

或

登录 Cloudera Manager 并转到 Hosts 页面，然后运行 ​​inspect hosts in cluster

【讨论】：

我得到“ga@ga-HP-Z820:/mnt/fastssd/bot_subreddit_recom$ spark-submit --version >spark-submit: command not found

检查您的 SPARK_HOME 配置

我收到了NameError: name 'submit' is not defined 错误

你能分享你的命令吗

太糟糕了，输出具有荒谬的 ASCII 艺术，使其难以解析:(

【参考方案2】：

您可以使用以下命令获取spark版本：

spark-submit --version

spark-shell --version

spark-sql --version

您可以访问以下网站了解 CDH 5.7.0 中使用的 spark-version

http://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_rn_new_in_cdh_57.html#concept_m3k_rxh_1v

【讨论】：

spark-sql --version 不工作。以上两个工作正常

【参考方案3】：

根据 Cloudera 文档 - What's New in CDH 5.7.0 它包括 Spark 1.6.0。