Spark结构化流多个WriteStream到同一个接收器

Posted 2021-03-27

Spark Structured Streaming 2.2.1中没有按顺序发生两个Writestream到同一个数据库接收器。请建议如何按顺序执行它们。

val deleteSink = ds1.writestream
  .outputMode("update")
  .foreach(mydbsink)
  .start()

val UpsertSink = ds2.writestream
  .outputMode("update")
  .foreach(mydbsink)
  .start()

deleteSink.awaitTermination()
UpsertSink.awaitTermination()

使用上面的代码，deleteSink在UpsertSink之后执行。

答案

如果您想要并行运行两个流，则必须使用

sparkSession.streams.awaitAnyTermination()

代替

deleteSink.awaitTermination()
UpsertSink.awaitTermination()

在你的情况下，除非删除deleteSink或抛出异常，否则UpsertSink永远不会启动，正如scaladoc中所说的那样

等待通过this或异常终止query.stop()查询。如果查询以异常终止，则抛出异常。如果查询已终止，则对此方法的所有后续调用将立即返回（如果查询由stop()终止），或立即抛出异常（如果查询已终止异常）。