将工作服务器与 php 应用程序一起使用的指南 [关闭]

Posted 2023-02-16

【中文标题】将工作服务器与 php 应用程序一起使用的指南 [关闭]

【英文标题】：Guide to using a worker server with a php application [closed]

【发布时间】：2011-11-07 04:10:46

【问题描述】：

我已经构建了一个 php 应用程序，并且我了解到在调用 api 或执行耗时的操作时使用“worker”+ 队列服务器是最佳实践。

快速搜索教程的过程已经枯竭。我已经使用 codeigniter 构建了我的应用程序，并且我确实对 facebook api 进行了各种调用 + 在整个应用程序中使用基于 php 的图像处理。我唯一想知道的是，如果我正在执行 api 调用或调整我的图像大小并且用户通常不关心从我的服务器获得响应，直到它完成，队列服务器+worker 将如何帮助我。

什么情况下适合工作人员 + 队列服务器，是否有任何指南可以将这些内容包含在我的应用程序中？最近我在我的应用程序中包含了 memcache，这非常简单。我只是用 memcache 处理程序包装了我的 sql 查询。

【参考方案1】：

在您描述的示例（图像调整大小）中，您基本上保持 Apache 连接在调整图像大小期间保持打开状态。 Apache 进程很昂贵，为了使您的系统尽可能地具有可扩展性，您应该致力于使您的 Web 请求/响应尽可能短。 另一个想法是使用队列可以控制并发。如果 100 多个用户同时上传一张图片以调整大小怎么办？你的服务器能处理吗？如果您有一个工作（后端）服务器来处理这些请求，那么您将能够只允许执行 X 个并发作业。

同样适用于 Web 服务请求：不是让连接保持打开状态，而是将 Web 服务调用的执行卸载到工作进程，这释放了 apache 进程，并且您可以实现 AJAX 轮询机制检查后端服务器向 Web 服务发出的请求是否完成。从长远来看，系统会更好地扩展，用户通常不喜欢等待操作完成而没有反馈它在哪里。排队允许您异步执行任务并向访问者提供有关任务完成状态的反馈。

我通常使用 Zend Server 完整版（商业版）提供的 Zend Server 的作业队列（http://devzone.zend.com/article/11907 和 http://devzone.zend.com/article/11907）。然而，Gearman 在这方面也很出色，并且有一个 PHP 扩展：http://php.net/manual/en/book.gearman.php 和一个示例：http://www.php.net/manual/en/gearmanclient.do.php。

希望这会有所帮助。

--编辑--

@Casey，我开始添加评论，但意识到这很快就会成为一个太长的答案，所以我编辑了答案。我刚刚阅读了云控制的文档，这是一项我不知道的服务。不过幸运的是，我已经相当广泛地使用了 Codeigniter，所以我会尝试为你破解一个答案：

1- Cloudcontrol 的worker 概念是从命令行启动一个php 脚本。因此，您需要一种方法让 Codeigniter 接受从命令行触发脚本并将其分派到控制器。您可能希望将其限制为一个控制器。见代码：http://pastebin.com/GZigWbT3 这个文件本质上和 CI 的 index.php 文件一样，除了它通过设置$_REQUEST['SERVER_URI'] 来模拟请求。请务必将该文件放在文档根目录之外，并相应地调整 $system_folder 变量。

2- 您需要在您的控制器文件夹中添加一个控制器 script.php，您可以从中禁用 Web 请求。您可以采取以下措施：

<?php
class script extends CI_Controller 
    public function __construct() 
        if(php_sapi_name() !== 'cli') 
            show_404();
        
        parent::__construct();
    

    public function resizeImage($arg1, $arg2) 
        //Whatever logic to resize image, or library call to do so.
    

3- 最后一部分是让您在 CI 中（在您的 system/application/libraries 文件夹中）开发一个包装器库，它可以有效地包装 CloudController 的 worker 调用的功能

    public function _construct() 
        $ci = get_instance();

        //add check to make sure that the value is set in the configuration
        //Ideally since this is a library, pass the app_name in a setter to avoid creating a dependancy on the config object.
        //Somewhere in one of your config files add $config['app_name'] = 'YOUR_APP_NAME/YOUR_DEP_NAME';
        //where APP_NAME and DEP_NAME are cloud controller's app_name and dep_name
        $this->_app_name = $ci->config->item('app_name');

        //Also add: $config['utilities_script'] = 'path/to/utilities.php';
        //This is the script created in step 1
        $this->_utilities_script = $ci->config->item('utilities_script');
    

    public function run() 
        $args = func_get_args();
        if(count($args) < 1 ) 
            //We expect at least one arg which would be the command name
            trigger_error('Run expects at least one argument', E_USER_ERROR);
        

        $method = array_shift($args);

        //utilities.php is the file created in step 1
        $command = "cctrlapp " . $this->_app_name . " worker.add ".$this->_utilities_script;

        //Add arguments if any
        $command .= ' "'.implode(' ', $args).'"';

        //finally...
        exec($command);
    

4- 现在从代码中您实际想要排队作业的任何位置（如果来自控制器）：

$this->load->library('Worker');
//resizeImage will call the method resizeImage in the script controller.
$this->worker->run('resizeImage', $width, $height);

请注意： 1- 这可以进一步完善，它真的是为了让你了解它是如何完成的 2- 由于我没有 cloudcontroller 帐户，我无法测试代码，因此可能需要调整。我在项目中使用的 utility.phph 脚本，所以这个应该不错。 祝你好运！

【讨论】：

感谢@Maurice 的回答，您知道基于codeigniter 构建的项目可能会感兴趣的任何排队库吗？

更具体地说，我的网站由 www.cloudcontrol.com 托管，他们提供工作服务器作为托管的一部分。我已经在 codeigniter 中从头开始构建了我的网站。我现在第一次了解排队工作的想法。但我现在正在阅读你发给我的链接。

感谢您非常详细的回答！这当然对我有很大帮助，我相信它会帮助那些偶然发现和我一样想知道这一点的人。

说我想在响应用户请求进行 API 调用时使用此方法。我想让应用程序保持响应，我是否应该让常规应用服务器返回给用户的页面并让 Web 浏览器轮询服务器以查看工作是否定期完成？

是的，我就是这么做的……

【参考方案2】：

如果您不需要专门的工作/队列服务器设置，您可以为您的 codeigniter 安装制作一个小型库来管理一个简单的工作队列。

在初始客户端请求期间，您检查生成的图像或缓存中的远程文件是否不需要（重新）生成，并提供文件。如果需要构建文件或图像，请告诉队列库将其添加到队列中，然后关闭与浏览器的连接。 但是，在同一个请求期间，您仍然在控制器末尾处理队列。这样您就不需要单独的队列和工作服务器。

对我来说，http://www.php.net/manual/en/features.connection-handling.php 上的 cmets 非常有帮助。您基本上可以执行以下操作：（概念证明，详情请参阅链接）

header("Connection: close\r\n");  // close the connection
ob_end_flush();                   // flush everything
ob_flush();
flush();

set_time_limit(300);              // set a nicer time-out for the queue-worker
$this->queue_lib->process();      // do processing
sleep(5);                         // or get some of that much needed sleep
echo 'Text user will never see';

在开发和调试过程中，您可以暂时禁用关闭连接部分并查看任何输出。对于生产，您可以使用 log_message()。

队列库功能（给 coder/self 的注释）：将文件添加到队列时，队列库应该检查文件是否已经在队列。因为在此设置中，worker 异步运行（许多不同的浏览器连接），所以当 worker 开始处理作业时，它应该将作业状态设置为“处理”之类的东西，这样其他工作者就不会开始处理同一个作业.或者，您可以通过将整体队列状态设置为“队列正在处理”（一次一个工作人员）来设置顺序队列。作业（或整个队列）的超时可能也是一个好主意，并且超时应该比 set_time_limit() 大一点。这样您就可以知道作业何时可能失败并更新错误日志。尽早处理队列清理，以确保它们得到处理并且不会超出任何超时时间。

注意：在同一个链接页面中，如果您对本地文件系统中的文件进行操作，并且同时想要使用 ignore_user_abort(true) 或 register_shutdown_function()，存储似乎是明智的首先是工作目录。 $cwd = getcwd();

编辑： 为工作图书馆找到了一个很好的起点： http://www.andy-russell.com/job-scheduler-library