如何使用Azure Event Grid向GCP提供的事件

Posted 2021-04-29

基本上我从几个Azure主题中理解的内容如下： 1）Azure Event Hub - 最初收到数据并转换成事件 2）Service Bus-充当队列 3）Azure Event Grid - 在集线器中转换的事件在这里转移。

所以连接如下：

Hub -> Service Bus -> Event Grid -> Pub Sub -> Storage

我理解这个概念。我的问题是我希望将数据从事件网格推送到GCP（订阅/主题）。那么如何使用PUSH方法建立这个？ 我需要准确开发什么。我怎么能从grid to pubsub/subscriptions推送东西。我发现this链接数据发布到Event Grid but I want to push data from the event grid to gcp。任何人都可以解释我哪里出错或者我应该从哪里开始。我是新手，非常混乱，所以我只需要一点指导。

我有些疑惑： 1）事件网格监听器是否有可用的直接用户选项？我的意思是我可以直接将我的Google存储帐户与此监听器相关联，因此，只要有事件触发，它就会被直接推送到我的GCP帐户（我现在没有Azure帐户，因为访问问题正在进行中所以我看不出来这就是我在这里问的原因） 2）假设我的数据中有20 columns，但我只想在GCP中推送16 columns，所以在从event grid/event hub向pub/sub发送数据时是否可以进行自定义 3）如果我根据下面的答案中提供的链接编写自定义连接器代码，那么我该如何运行它？我的意思是我可以在云上部署这些脚本，以便在触发事件时自动触发。 4）我可以在这种情况下实现webhooks吗？ （作为连接器的替代品）。如果是，那么我该怎么做以及我需要在哪一方创建呢？ 5）另外，我读了一些文章，我从一些人那里了解到他们在整个过程中遇到了数据丢失。那么，这里有什么可能性以及如何避免它

答案

任何人都可以解释我哪里出错或者我应该从哪里开始。

就在这里：

所以连接如下： Hub -> Service Bus -> Event Grid -> Pub Sub -> Storage

虽然情况可能如此，但听起来好像您正在研究一种（非常）特定的情况，即数据以这种方式流动。

Azure事件中心，Azure服务总线和Azure事件网格可以一起使用，但也可以完全彼此分开使用。

事件网格 Event Grid的目的是启用Reactive编程。想要对（状态）更改做出反应时使用此选项。

活动中心 事件中心促进了大数据管道。当您需要遥测和分布式数据流时，请使用此选项。

服务总线 Service Bus的目的是实现高价值的企业消息传递。当您想要执行订单处理和金融交易等操作时，请使用此选项。

在某些情况下，您并排使用服务来履行不同的角色。例如，电子商务网站可以使用服务总线来处理订单，使用事件中心来捕获站点遥测，并使用事件网格来响应项目发货之类的事件。

在其他情况下，您将它们链接在一起以形成事件和数据管道。您使用事件网格来响应其他服务中的事件。有关将事件网格与事件中心一起使用以将数据迁移到数据仓库的示例，请参阅将大数据流传输到数据仓库。

摘自非常有趣和重要的文档文章Choose between Azure messaging services - Event Grid, Event Hubs, and Service Bus

编辑

我的问题是我希望将数据从事件网格推送到GCP（订阅/主题）。那么如何使用PUSH方法建立这个？

可能最简单的解决方案是让事件网格事件触发webhook（可能运行Azure Function或Google Cloud Function），然后将事件/消息放在GCP主题上。

Publishing messages有很好的记录。有关如何使用REST调用，命令行，C＃，Go，JAVA，NodeJS，php，Python和Ruby的示例。

编辑2 你需要做的是创建一个Event Grid Subscription来监听和处理事件网格事件。 以下是有关如何监听特定存储帐户的事件并在发生此类事件时调用WebHook的示例屏幕截图：

注意“端点详细信息”：您可以指定每次触发事件时调用webhook。

另一答案

转移EventHub生成事件的最简单方法可能是在Node.js中创建一个EventHub事件接收器（您在评论中提到），如here所述，它接收事件并直接将它们发布到Cloud Pub / Sub，如in the Cloud Pub/Sub publisher documentation for Node.js所述。