从 Amazon SQS 馈送 Apache Spark 流？

Posted 2023-04-18

【中文标题】从 Amazon SQS 馈送 Apache Spark 流？

【英文标题】：Feeding Apache Spark Streaming from Amazon SQS?

【发布时间】：2014-11-25 09:30:40

【问题描述】：

Spark 可以通过多种方式提供，如文档中所述（如 Kafka、Flume、Twitter、ZeroMQ、Kinesis 或普通的旧 TCP 套接字）。 有人知道如何从 Amazon SQS 提供 Spark Streaming 吗？

【问题讨论】：

在 Spark 的用户邮件列表中询问可能会有所帮助。

谢谢，我想这里没有其他人回复...

@antoneti 你最终使用了什么库？有什么建议吗？

【参考方案1】：

有一个名为 spark-sql-receiver 的 github 项目。它已使用 spark-sqs-receiver_2.10 的 com.github.imapi artifactId 的 groupId 上传到 maven 存储库。它目前在版本 1.0.1 上。从github project 的外观来看，它也在积极维护中。以下是从项目的 README.md 文件中厚颜无耻地复制的一些示例代码：

ssc.receiverStream(new SQSReceiver("sample")
      .credentials(<key>, <secret>)
      .at(Regions.US_EAST_1)
      .withTimeout(2))

【讨论】：

我们如何使用pyspark实现类似的操作？甚至可能吗？谢谢。