需要在 Java 应用程序的 Grafana 中显示指标也用于 Spark 配置批处理应用程序

Posted 2023-02-16

【中文标题】需要在 Java 应用程序的 Grafana 中显示指标也用于 Spark 配置批处理应用程序

【英文标题】：Need to show metrics in Grafana of Java application also for Spark configurations batch applications

【发布时间】：2020-09-29 18:23:02

【问题描述】：

我有一个用例，我需要将我的 java 应用程序的矩阵显示到 Grafana 中，但我的是批处理应用程序而不是时间序列，我将数据存储在关系数据库中。 怎么可能喜欢我需要将数据推送到像 Prometheus 这样的时间序列，或者是否有任何可用于 Grafana 的插件我们可以直接使用？

而且我还想监控我的 spark 作业和相关的东西，比如驱动器、JVM 等的内存。

关于如何开始的任何帮助或线索？

【参考方案1】：

对于批处理作业，请查看 prometheus push gateway。基本上，您的指标将由客户端推送到推送网关（客户端适用于所有常用语言）

对于 Spark 作业或 Java 应用程序，您可以查看 jmx exporter。 你也可以看看spark exporter，它使用了 pushgateway

希望对你有帮助

【讨论】：

感谢您的回复，您能告诉 MariaDB 哪个导出器有效吗？

您可以使用 mysqld 导出器。 github.com/prometheus/mysqld_exporter