从 s3 将外部 jars 加载到 Zeppelin

Posted 2023-03-23

【中文标题】从 s3 将外部 jars 加载到 Zeppelin

【英文标题】：Load external jars to Zeppelin from s3

【发布时间】：2019-07-23 07:41:45

【问题描述】：

非常简单的目标。将我的自定义/本地 jar 从 s3 加载到 zeppelin notebook（使用来自 AWS EMR 的 zeppelin）。

罐子的位置

s3://my-config-bucket/process_dataloader.jar

在zeppelin documentation之后，我打开了如下图所示的解释器，属性名称中的spark.jars，其值为s3://my-config-bucket/process_dataloader.jar

我重新启动解释器，然后在笔记本中尝试使用以下命令导入 jar

import com.org.dataloader.DataLoader

但它会抛出以下内容

<console>:23: error: object org is not a member of package com
       import com.org.dataloader.DataLoader 

对解决这个问题有什么建议吗？

【问题讨论】：

您的屏幕截图中有错字。 “spark.jars”应该是“spark.jars”。

如果没有这个错字，它也无法工作，至少在 Zeppelin 0.8.1 中（AWS EMR 中最新可用）。

【参考方案1】：

有点晚了，但对于将来可能需要此功能的其他人，请尝试以下选项，

https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar" 基本上是您的 s3 对象 url。

%spark.dep
z.reset()
z.load("https://bucket/dev/jars/RedshiftJDBC41-1.2.12.1017.jar")