运行 EMR Spark 脚本，Spark UI SQL 选项卡消失

Posted 2023-04-15

【中文标题】运行 EMR Spark 脚本，Spark UI SQL 选项卡消失

【英文标题】：Running an EMR Spark script, and the Spark UI SQL tab disappears

【发布时间】：2016-03-03 22:43:55

【问题描述】：

在本地模式下运行 spark sql 作业时，我的 Spark UI 有一个 SQL 选项卡。

在 AWS EMR 上运行相同的作业时，Spark UI 的 SQL 作业不再存在？

我已经建立了 SSH 隧道 设置 FoxyProxy 设置 可以在浏览器中查看各种 EMR 用户界面 可以在浏览器中查看 Spark UI

Amazon 的 EMR 版本的 Spark UI 中没有此功能是否存在代码原因？

【参考方案1】：

EMR 中的 Spark 有两种不同的 UI：1. Spark UI 和 2. Spark History Server。

它们看起来相同，但从不同的 URL 提供服务，并且即使在应用程序完成后，只要 EMR 集群仍在运行，它们中的一个仍会继续提供服务。

历史服务器 AFAIK 没有 SQL 选项卡