为啥 Spark UI 在 Jobs 选项卡下的 DAG 中只显示 Actions 而没有 Transformations

Posted 2023-02-16

【中文标题】为啥 Spark UI 在 Jobs 选项卡下的 DAG 中只显示 Actions 而没有 Transformations

【英文标题】：Why does Spark UI shows only Actions in the DAG under Jobs Tab and no Transformations为什么 Spark UI 在 Jobs 选项卡下的 DAG 中只显示 Actions 而没有 Transformations

【发布时间】：2017-05-25 21:23:51

【问题描述】：

我有一个简单的程序 -

lines =sc.parallelize(['a','b','c','d'])
lines.map(myfunct1).flatMap(flatmapfunc).map(myfunct2).collect()

当我在 Spark 中提交这个程序并在 Jobs 选项卡下查看 DAG 时，我只能看到并行化和收集操作，但看不到 map 和 flatmap。

Screenshot

对于为什么我在 DAG 中看不到任何转换有什么想法吗？

【参考方案1】：

Spark UI 不太支持 Python RDDs。您可以改用 Python DataFrames。