我可以使用spark 2.3.0和pyspark从Kafka进行流处理吗？

Posted 2021-05-01

我将使用pyspark进行流处理，并使用Kafka作为数据源。

我看到Spark Python API不支持Kafka 0.10连接器。

我是否可以在Spark 2.3.0中使用Kafka 0.8连接器，不管它是否被弃用？

答案

它已弃用，但未删除。你可以使用它。

但是，您可能对结构化流媒体感兴趣，它在Python中支持Kafka 0.10 - 链接here。这是Spark中新的Streaming API，它将取代DStreams