使用 Node.js/python 的 Producer/Consumer + Worker 架构

Posted 2023-02-16

【中文标题】使用 Node.js/python 的 Producer/Consumer + Worker 架构

【英文标题】：Producer/Consumer + Worker arch with Node.js/python

【发布时间】：2012-12-22 08:20:17

【问题描述】：

我们有 2 个组件，1 个生产者/消费者，2 个进程

Producer/Consumer 是 i/o 激励，只是接受 web 请求并根据输入参数进入 mongodb。

进程是单独的进程（在 python 中），它处理来自 mongodb 的数据并将它们分组（配对）。

这种配对需要很少的时间，一旦配对完成，我们想通知节点对于给定的连接，“处理完成”，因此节点可以将数据发送回客户端。

我不确定“如何通知 Node 的连接该过程已完成，这是输出。”

【参考方案1】：

我会使用 RabbitMQ 甚至 ZeroMQ 等消息传递服务来通知或让 Node.JS 进程轮询此通知。

所以，Python 进程会执行它的处理，然后它会发送一条消息，Node.JS 进程会从那里读取此消息，然后知道它可以完成它的工作并处理 MongoDB 中的数据。

【讨论】：

谢谢肖恩，你能帮我举个相关的例子吗？我很乐意挖掘。剩下的代码已经准备好了，所以我只想看看这段代码。