Gunicorn 工作者和线程

Posted 2023-02-24

【中文标题】Gunicorn 工作者和线程

【英文标题】：Gunicorn Workers and Threads

【发布时间】：2016-11-20 09:44:30

【问题描述】：

就 Gunicorn 而言，我知道有各种各样的工人阶级，但在这次谈话中，我只关注同步和异步类型。

据我了解...

sync
workers = (2 * cpu) + 1
worker_class = sync

async (gevent)
workers = 1
worker_class = gevent
worker_connections = a value (lets say 2000)

因此（基于 4 核系统）使用同步工作者我最多可以并行处理 9 个连接。使用 Async，我最多可以有 2000 个，但需要注意的是异步。

问题

那么线程适合在哪里呢？我可以将线程添加到同步和 异步工作者类型？ gunicorn 工人的最佳选择是什么？ 我是否希望将 gunicorn 放在 Django API 前面，使用 需要并行处理 100 个请求？ gevent 和同步工作者类线程安全吗？

【参考方案1】：

让我试着回答一下。让我们假设一开始我的部署只有一个 gunicorn worker。这使我一次只能处理一个请求。我的工作人员的工作只是调用 google.com 并获取查询的搜索结果。现在我想增加我的吞吐量。我有以下选择：

只保留一个工人并增加该工人中的线程数

这是最简单的。由于线程比进程更轻量级（内存消耗更少），所以我只保留一个工作人员并添加几个线程。 Gunicorn 将确保 master 可以向 worker 发送多个请求。由于worker是多线程的，它能够处理4个请求。极好的。现在为什么我需要更多的工人？

要回答这个问题，假设我需要对 google 返回的搜索结果做一些工作。例如，我可能还想为每个结果查询计算一个素数。现在我正在使我的工作负载受到计算限制，并且我遇到了 python 的全局解释器锁的问题。尽管我有 4 个线程，但实际上一次只有一个线程可以处理结果。这意味着要获得真正的并行性能，我需要不止一名工作人员。

增加工作人员的数量，但所有工作人员都是单线程的

所以我需要它的原因是当我需要获得真正的并行处理时。每个工作人员可以并行调用 google.com，获取结果并进行任何处理。全部并行。极好的。但缺点是进程比较重，我的系统可能跟不上增加工人来完成并行的需求。所以最好的解决办法是增加worker，同时给每个worker增加更多线程。

增加worker的数量，每个worker都是多线程的

我想这不需要进一步解释。

将工作器类型更改为异步

现在我为什么要这样做？要回答，请记住，即使是线程也会消耗内存。 gevent 库实现了协程（您可以查找的基本结构），允许您在无需创建线程的情况下获取线程。因此，如果您制作您的 gunicorn 以使用 gevent 的 worker 类型，您将获得不必在您的 worker 中创建线程的好处。假设您正在获取线程而无需显式创建它们。

因此，为了回答您的问题，如果您使用的是 Sync 以外的任何 worker_type，则无需增加 gunicorn 配置中的线程数。无论如何，您都可以做到，但这有点违背了目的。

希望这会有所帮助。

我也会尝试回答具体问题。

不，线程选项不适用于异步工作程序类。 这实际上需要通过文档更清楚地说明。 想知道为什么没有发生这种情况。

这是一个需要更多了解您的具体知识的问题 应用。如果处理这 100 个并行请求 只涉及 I/O 类型的操作，例如从数据库中获取、保存、 从其他应用程序收集数据，然后您可以利用 线程工作者。但如果不是这种情况并且您想要 在 n 核 CPU 上执行，因为任务非常计算 绑定，也许就像计算素数一样，你需要利用 同步工作者。 Async 的原因略有不同。使用 异步，您需要确保您的处理不受计算限制， 这意味着您将无法使用多个内核。 您获得的优势是多个线程将占用的内存 不会在那里。但是您还有其他问题，例如非猴子补丁 图书馆。仅当线程工作人员不满足时才移动到异步 您的要求。

如果您想要绝对的，同步、非线程工作者是最佳选择 库之间的线程安全。

【讨论】：

但是由于 GIL 为什么不总是运行异步，即使计算受限。线程安全已经得到保证。

将自己置于可能决定这样做的人的立场上，我会害怕在使用 Async 工作类时哪些模块可能无法正确修补以便可预测地工作。 Async 的所有好处确实有其自身的风险。您必须绝对确保您的所有代码都经过猴子补丁，并且没有运行本机代码。所以这种风险会阻止我总是异步。

不错的答案。我仍然不清楚这一点，为什么/如何对库进行猴子修补以及是否有某种方法可以检查它们是否存在？

与非线程工作人员相比，线程工作人员是否会带来重大的线程安全错误风险？库是否需要为同步线程工作者进行猴子补丁？

增加工作人员的数量并且每个工作人员都是多线程的，当我这样做时，我发现我指定的线程总数正在共享给所有工作人员节点。换句话说，每个工作人员都没有创建我提供的指定数量的线程，这是预期的行为吗？