Azure 事件中心与 Python 中的 Apache Spark 集成

Posted 2023-04-15

【中文标题】Azure 事件中心与 Python 中的 Apache Spark 集成

【英文标题】：Azure Event Hubs integration with Apache Spark in Python

【发布时间】：2019-01-24 16:43:42

【问题描述】：

我想知道python中是否有like这个东西？

如果是这样，您能否提供任何带有示例的网络？

额外：

如果你试图像普通的 python 程序一样运行它，它会给你一个错误：

运行它使用：

spark-submit --packages com.microsoft.azure:azure-eventhubs-spark_2.11:2.3.9 nameoffile.py

【参考方案1】：

https://docs.databricks.com/_static/notebooks/structured-streaming-python.html

https://github.com/Azure/azure-event-hubs-spark/blob/master/docs/PySpark/structured-streaming-pyspark.md

# Source with default settings
connectionString = "YOUR.CONNECTION.STRING"
ehConf = 
  'eventhubs.connectionString' : connectionString


df = spark \
  .readStream \
  .format("eventhubs") \
  .options(**ehConf) \
  .load()

【讨论】：

相信我，当我问一些问题时，我会尝试寻找它。您发布的网络与我之前看到的相同，这不是我要求/寻找的。在这篇文章的标题中，我谈到了将 Apache Spark 与 Azure 事件中心集成。我在 scala 中看到了这一点，但在 python 中没有看到。所以我想知道任何可以像 org.apache.spark.eventhubs 一样工作的 python 连接器

我已相应更新。抱歉，我认为最初提到的事件中心也是如此。

谢谢@HaukeMallow