如何在 UI 中显示 spark java 应用程序的输出
Posted
技术标签:
【中文标题】如何在 UI 中显示 spark java 应用程序的输出【英文标题】:how to display output of spark java application in UI 【发布时间】:2017-06-07 04:57:10 【问题描述】:我有一个用于日志挖掘的 Spark Java 应用程序。目前我正在读取 spark 输出文件的输出并将其显示在 Excel 表中。但我想要一个更好的用户界面。有人可以帮我编写一个更好的 UI,以便更轻松、更好地分析 spark 输出的结果。如果我添加图表和表格视图会很有帮助。
【问题讨论】:
我认为你应该看看 apache zeppelin 它会解决你的问题并有 spark 的解释器 谢谢萨钦。让我谷歌一下 请移除标签 [spark-java](这是完全不同的框架)。所以像我这样的人不会偶然发现这是一个 Spak java 框架问题 【参考方案1】:一种选择是通过 JDBC/ODBC 公开 Spark 数据,如下所述:
https://spark.apache.org/docs/latest/sql-programming-guide.html#distributed-sql-engine
因此您可以为您选择的平台编写应用程序。
【讨论】:
以上是关于如何在 UI 中显示 spark java 应用程序的输出的主要内容,如果未能解决你的问题,请参考以下文章
通过记录器的 Java Spark 应用程序日志未显示在 EMR 日志中
如何在 Spark on YARN 中为 Spark UI 创建安全过滤器
Spark Web UI,即使我不持久化数据也显示非零内存存储数字