在 yarn 和 cluster 模式下打印 spark 命令

Posted 2023-04-15

【中文标题】在 yarn 和 cluster 模式下打印 spark 命令

【英文标题】：Printing spark command in yarn and cluster mode

【发布时间】：2016-09-14 03:35:50

【问题描述】：

我需要在 spark yarn 模式下打印一些命令。显然 println(message) 不起作用......我想找到一种方法来收集消息。有人可以指出当前的方法，例如使用收集吗？

如何使用收集？

下面的代码有效吗？

val c=message.collect()
println (c)

【问题讨论】：

已经在这里回答***.com/a/23173811/2784721

@amit_kumar 答案不正确，被高票否决。由于某种原因，它被否决了 6 次。不过，对于 OP，请阅读如何在 SO 上提问。这个问题质量很低！

【参考方案1】：

您可以使用以下命令实现此目的：

message.foreach(println)

您将在执行程序日志中找到上述调用的输出。