寻找云功能替代品——Kafka

Posted 2023-02-23

【中文标题】寻找云功能替代品——Kafka

【英文标题】：Looking for cloud function alternatives - Kafka

【发布时间】：2020-04-11 08:28:18

【问题描述】：

大家，

我们正在为大学开展一个项目。该项目应该在云中运行并且具有高度可扩展性。我们将所有功能外包给 Google Cloud Functions，效果很好。现在，我们正在寻找更适合我们的用例或可以更好地扩展的替代实现。

这就是为什么我们正在寻找一些不同的方法来解决这个用例： 这是一个网络爬虫，来自不同用户的许多并行请求都会发送到该系统。然后系统从不同的网站并行抓取数据并解析内容。随后，将结果重新组合并发送回用户。我在这里所描述的“系统”是一个巨大的云功能/微服务集合，它们正在发挥它们的作用。

我没有使用 Kafka 的经验，但我们考虑过使用流处理。还有其他我们应该考虑的框架吗？有什么建议吗？

提前致谢！

【问题讨论】：

Kafka 更接近 PubSub，而不是 Functions

cloud.google.com/functions/docs/calling/pubsub

【参考方案1】：

对于您所描述的内容，您应该检查：

Google App Engine Google Kuberneted Engine Google Cloud Run

所有 3 种产品都应该适合您的用例，但每种产品都有自己的优缺点。

一旦您阅读了每一个的描述和/或观看了介绍视频，您应该能够确定哪一个最适合您。

【讨论】：

这些和 FaaS 不太一样。正如所评论的那样，调用 Cloud Function 的 PubSub 最终会更好地扩展

再次阅读问题的细节，我相信你说的有道理。但是，请记住，Cloud Functions 有多个限制和配额，最终可能会成为问题。因此，可能需要一些技巧才能使其与 PubSub 以及云函数或替代方案一起使用。