无法在 Databricks 中创建 H2OContext - 使用 pysparkling

Posted 2023-04-15

【中文标题】无法在 Databricks 中创建 H2OContext - 使用 pysparkling

【英文标题】：not able to create H2OContext in Databricks- using pysparkling

【发布时间】：2018-05-18 17:55:31

【问题描述】：

我无法使用 pysparkling 在 Spark Databricks 中创建 H2OContext。它给出了以下错误。

代码：从 pysparkling 导入 * 代码：import h2o 代码：h2oConf = H2OConf(spark) 代码：h2oConf.set("spark.ui.enabled", True)

Out[2]：苏打水配置： 后端集群模式：内部 工人：无 cloudName ：尚未设置，在启动 H2OContext 之前会自动设置。 平面文件：真 客户端基础端口：54321 节点基础端口：54321 云超时：60000 h2oNodeLog：信息 h2oClientLog：信息 线程数：-1 drddMulFactor : 10

代码：h2oContext = H2OContext.getOrCreate(spark, h2oConf)错误：java.lang.NoSuchFieldError: quasibinomial

以下是集群的所有详细信息： 1. 集群： 运行时版本：Spark 2.1（自动更新，Scala 2.11） 类型：标准 工人：4

附加到上述集群的库： h2o_pysparkling_2.1， h2o-genmodel.jar

【参考方案1】：

发现问题。我使用的是 Spark 2.1（自动更新，Scala 2.11）集群。但是在使用 H2O 苏打水时，我应该使用集群 Spark 2.1.X-dbx（您必须使用 Spark 2.1 版本和 Scala 2.11）。