在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群
Posted
技术标签:
【中文标题】在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群【英文标题】：monitoring spark cluster in AWS EMR without spark UI 【发布时间】：2016-12-08 07:32:58 【问题描述】：我正在 AWS EMR 上运行 Spark 集群。如何在不使用 spark UI 的情况下获取在 AWS EMR 上运行的作业和执行程序的所有详细信息。我打算用它来监控和优化。
【问题讨论】：
【参考方案1】：您可以检查 nagios 或 ganglia 的集群运行状况，但您无法使用这些工具查看在 spark 上运行的作业。
【讨论】：
【参考方案2】：如果您使用的是 AWS EMR，则可以使用 lynx 服务器来实现。如下所示。
-
登录集群的主节点。
试试下面的命令
猞猁http://localhost:4040
注意：在键入命令之前，请确保您正在运行作业
【讨论】：
以上是关于在没有 spark UI 的情况下在 AWS EMR 中监控 spark 集群的主要内容，如果未能解决你的问题，请参考以下文章
AWS Beanstalk - 无法在没有来自 CLI 的负载均衡器的情况下在 VPC 中创建环境
如何在没有窗体或控件的情况下在 Winform 应用程序中调用 UI 线程？
如何在没有 Jquery-ui 且没有 Bootstrap 的情况下在 angularjs 中创建自定义进度条？