QueueStream 可以用于结构化流吗？

Posted 2023-04-18

【中文标题】QueueStream 可以用于结构化流吗？

【英文标题】：QueueStream for Structured Streaming possible?

【发布时间】：2019-01-10 12:31:09

【问题描述】：

使用 dStreams，来自官方文档：

RDD 队列作为流：用于测试 Spark Streaming 应用程序 有了测试数据，也可以基于一个队列创建一个 DStream RDD，使用 streamingContext.queueStream(queueOfRDDs)。每个 RDD 推送 进入队列将被视为 DStream 中的一批数据，并且 像流一样处理。

那么，对于结构化流，我可以或不可以使用 QueueStream 作为输入吗？

无法在结构化流媒体指南 2.3 或 2.4 中找到任何内容。

我确实记下了 memoryStream。这是要走的路？我认为是这样，如果是这样，为什么 QueueStream 不再是一种选择？

我已将 QueueStreams 转换为 Memory Stream 作为输入，它工作正常，但这是必需的吗？

【问题讨论】：

你能分享一下你指的memoryStreamsn-p吗？

【参考方案1】：

我的理解是，对于结构化流，我不能使用 QueueStream - 因为它是 dStream。

使用结构化流模拟流输入确实适用于 memoryStream。