尝试在 YARN 上运行 Apache Apex 的 Yahoo Finance 示例

Posted 2023-04-18

【中文标题】尝试在 YARN 上运行 Apache Apex 的 Yahoo Finance 示例

【英文标题】：Trying to run Apache Apex's Yahoo Finance example on YARN

【发布时间】：2017-02-28 16:36:08

【问题描述】：

我已经下载了 Apache Apex 3.5.0 和 Malhar 3.5.0。

我已成功启动 apex 客户端并将 Yahoo Finance 演示示例提交到我们的 YARN 集群（运行 CDH 5.10）。集群正在运行并正确配置（许多 Spark 和 MR 作业正在其上运行）。

我在 YARN 和 Apex cli 中看到我以 RUNNING 提交的应用程序。但是，当我尝试连接到 Application Master 时，我得到了 404。

org.apache.hadoop.yarn.webapp.WebAppException: /: controller for default not found

我也尝试直接连接到get-app-info命令报告的appMasterTrackingUrl，得到同样的错误。

我尝试了几个 apex 示例，但总是遇到相同的错误。

知道为什么吗？

【参考方案1】：

有点意料之中。在 URL 路径中添加“/ws/v2/stram/info”

【讨论】：

我期待一些像其他应用程序管理器一样的 UI。我想知道为什么没有默认重定向到带有文档的页面。

Apache Apex 应用程序仅提供当前仅记录在源代码 AFAIK 中的 REST API。 Datatorrent RTS提供与其他Application Manager类似的UI。

不确定是否值得提出一个新问题，但是在使用 Yarn 时如何查看控制台输出运算符的输出？

是的，值得提出一个新问题。您也可以将问题发布到 [e-mail]。

终于找到写的地方了。输出在 /tmp/fileOutput 下的 hdfs

【参考方案2】：

当您连接到 App Master 时，您需要提供完整的 URL 以供 REST API 调用。 “/”没有可显示/返回的内容，因此您所看到的内容是预期的。你想做什么连接到App Master？

【讨论】：

我想我期待某种类似于我们在运行 spark 作业时所拥有的 UI。或者一些文档告诉我如何查询 API。我没想到会有堆栈跟踪。