如何将 Spark 结构化流数据写入 REST API？

Posted 2023-04-18

【中文标题】如何将 Spark 结构化流数据写入 REST API？

【英文标题】：How to write spark structured streaming data to REST API?

【发布时间】：2019-01-18 13:38:50

【问题描述】：

我想将我的 spark 结构化流处理数据推送到 REST API。有人可以分享相同的例子。我发现很少，但都与火花流有关，而不是结构化流。

【参考方案1】：

我还没有听说过用于 Spark 结构化流的 REST API 接收器，但您可以自己编写一个。从org.apache.spark.sql.execution.streaming.Source开始。

然而，最简单的方法是使用 DataStreamWriter.foreach 或 foreachBatch（从 2.4 开始）。

【讨论】：

这是 API 中的一个大漏洞。 Rest 应该作为 Source 和 Sink 提供，因为它与 Json 一样无处不在。我有点震惊，没有嵌入。如果我设法找到一些时间来做的话，计划为社区写一篇。