使用 Apache Zeppelin 重新运行带有 -deprecation 的 Scala 代码

Posted

技术标签:

【中文标题】使用 Apache Zeppelin 重新运行带有 -deprecation 的 Scala 代码【英文标题】:Rerun Scala code with -deprecation using Apache Zeppelin 【发布时间】:2019-07-29 21:54:13 【问题描述】:

我正在使用 Zeppelin 笔记本在 Scala 中创建 Spark 脚本。

代码:

def test: DataFrame= 

     //code


我收到以下警告:

warning: there was one deprecation warning; re-run with -deprecation for details.

关于如何使用“-deprecation”运行函数有什么建议吗?

PS。我不是在询问需要函数完整代码的警告。我正在寻找有关如何在 zeppelin 笔记本中使用 depreciation 参数重新运行该函数的建议。此问题的现有解决方案仅涵盖在 SBT 中运行。

【问题讨论】:

【参考方案1】:

在 Zeppelin 的 Spark 解释器设置中,有一个可以设置的“args”属性。这对应于 Spark 命令行参数,这是在这种情况下要更改的内容。有关可能配置的更多信息,请参阅文档here。

简而言之,为 args 属性添加“-deprecation”作为值,您将能够看到详细信息。

【讨论】:

在菜单 [用户名]->解释器->(搜索 spark)-> 编辑中通过 zeppelin ui 添加“-deprecation”(带或不带引号)似乎不起作用将 -deprecation 添加到 args 框中。这是你的意思吗? “警告:有一个弃用警告;使用 -deprecation 重新运行以获取详细信息”在段落中显示,无论没有其他信息。

以上是关于使用 Apache Zeppelin 重新运行带有 -deprecation 的 Scala 代码的主要内容,如果未能解决你的问题,请参考以下文章

Apache zeppelin绑定模式

Apache zeppelin 进程死亡

Apache zeppelin - 带有角度和 zeppelin 解释器的变量范围

使用 nginx 作为反向代理运行 Apache Zeppelin

在 Apache Zeppelin 上运行独立的 python 脚本

apache zeppelin 使用 pyspark 读取 csv 失败