卡夫卡火花流工作有许多活跃的工作

Posted 2023-04-18

【中文标题】卡夫卡火花流工作有许多活跃的工作

【英文标题】：kafka spark streaming job with many active jobs

【发布时间】：2016-07-16 01:42:05

【问题描述】：

在 YARN 上使用直接 kafka 流式传输时，我遇到了“许多活动作业”问题。 （火花 1.5，hadoop 2.6，CDH5.5.1）

当 kafka 几乎没有流量时，就会出现问题。

从应用程序 UI 中，我看到许多“活动”作业持续运行数小时。最后是驱动程序“请求 4 个新的执行程序，因为任务积压”。

但是，当查看“活动”作业的驱动程序日志时，日志显示作业已完成。那么，为什么应用程序 UI 显示此作业是永远的活动？

谢谢！

以下是有关“活动”作业之一的相关日志信息。 有两个阶段：reduceByKey 跟随平面图。日志显示两个阶段都在 ~20 毫秒内完成，作业也在 64 毫秒内完成。

Got job 6567
Final stage: ResultStage 9851(foreachRDD at
Parents of final stage: List(ShuffleMapStage 9850)
Missing parents: List(ShuffleMapStage 9850)
…
Finished task 0.0 in stage 9850.0 (TID 29551) in 20 ms
Removed TaskSet 9850.0, whose tasks have all completed, from pool
ShuffleMapStage 9850 (flatMap at OpaTransLogAnalyzeWithShuffle.scala:83) finished in 0.022 s
…
Submitting ResultStage 9851 (ShuffledRDD[16419] at reduceByKey at OpaTransLogAnalyzeWithShuffle.scala:83), which is now runnable
…
ResultStage 9851 (foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84) finished in 0.023 s
Job 6567 finished: foreachRDD at OpaTransLogAnalyzeWithShuffle.scala:84, took 0.064372 s
Finished job streaming job 1468592373000 ms.1 from job set of time 1468592373000 ms

【问题讨论】：

两个月前，我们遇到了与 Kafka 类似的问题（以及其他问题）。经过数周的痛苦，我们迁移到了 RabbitMQ :o)

【参考方案1】：

我面临着类似的问题。 Myn 是火花流应用程序，我唯一的操作就是写入 cassandra 表。并且，由于某些 ssl 身份验证，此写入失败。理想情况下，它应该在 Streaming 中显示失败的批次，但它永远保持活动状态；在批处理中，作业已成功完成，理想情况下应该标记为失败。