如何在 UI 中显示 spark java 应用程序的输出

Posted

技术标签:

【中文标题】如何在 UI 中显示 spark java 应用程序的输出【英文标题】:how to display output of spark java application in UI 【发布时间】:2017-06-07 04:57:10 【问题描述】:

我有一个用于日志挖掘的 Spark Java 应用程序。目前我正在读取 spark 输出文件的输出并将其显示在 Excel 表中。但我想要一个更好的用户界面。有人可以帮我编写一个更好的 UI,以便更轻松、更好地分析 spark 输出的结果。如果我添加图表和表格视图会很有帮助。

【问题讨论】:

我认为你应该看看 apache zeppelin 它会解决你的问题并有 spark 的解释器 谢谢萨钦。让我谷歌一下 请移除标签 [spark-java](这是完全不同的框架)。所以像我这样的人不会偶然发现这是一个 Spak java 框架问题 【参考方案1】:

一种选择是通过 JDBC/ODBC 公开 Spark 数据,如下所述:

https://spark.apache.org/docs/latest/sql-programming-guide.html#distributed-sql-engine

因此您可以为您选择的平台编写应用程序。

【讨论】:

以上是关于如何在 UI 中显示 spark java 应用程序的输出的主要内容,如果未能解决你的问题,请参考以下文章

spark web ui怎么使用

通过记录器的 Java Spark 应用程序日志未显示在 EMR 日志中

如何在 Spark on YARN 中为 Spark UI 创建安全过滤器

Spark Web UI,即使我不持久化数据也显示非零内存存储数字

需要在 Java 应用程序的 Grafana 中显示指标也用于 Spark 配置批处理应用程序

如何遍历 spark 数据集并更新 Java 中的列值?