轻量级队列beanstalkd

Posted 罗夏

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了轻量级队列beanstalkd相关的知识,希望对你有一定的参考价值。

一.基本
Beanstalkd,一个高性能、轻量级的分布式内存队列系统,最初设计的目的是想通过后台异步执行耗时的任务来降低高容量Web应用系统的页面访问延迟,支持过有9.5 million用户的Facebook Causes应用。后来开源,现在有PostRank大规模部署和使用,每天处理百万级任务。Beanstalkd是典型的类Memcached设计,协议和使用方式都是同样的风格,所以使用过memcached的用户会觉得Beanstalkd似曾相识。


二.服务端
1.https://github.com/kr/beanstalkd/downloads
下载最新版1.8

2.下载后解压,直接进入目录执行,make install --prefix=/usr/local/bin/

3.启动服务端
/usr/local/bin/beanstalkd -l 0.0.0.0 -p 11300 -z 67108864 -b /var/lib/beanstalkd -F &

-b /var/lib/beanstalkd
表示在此目录下建立binlog日志,便于启动的时候恢复未处理完的数据

作为服务启动需要借助supervisor(点击查看)


三.php客户端
1.下载https://github.com/davidpersson/queue/tree/master/libs/beanstalk/src/Socket下的Beanstalk.php文件


2.发送任务:

<?php
//发送任务
require_once \'Beanstalk.php\';
//实例化beanstalk
$beanstalk = new Socket_Beanstalk(array(
\'persistent\' => false, //是否长连接
\'host\' => \'127.0.0.1\',
\'port\' => 11300, //端口号默认11300
\'timeout\' => 3 //连接超时时间
));
if (!$beanstalk->connect()) {
exit(current($beanstalk->errors()));
}
//选择使用的tube
$beanstalk->useTube(\'test\');
//往tube中增加数据
$put = $beanstalk->put(
23, // 任务的优先级.
0, // 不等待直接放到ready队列中.
60, // 处理任务的时间.
\'hello, beanstalk\' // 任务内容
);
if (!$put) {
exit(\'commit job fail\');
}
$beanstalk->disconnect();

  


3.处理任务

<?php
require_once \'src/Socket/Beanstalk.php\';
//实例化beanstalk
$beanstalk = new Socket_Beanstalk(array(
\'persistent\' => false, //是否长连接
\'host\' => \'127.0.0.1\',
\'port\' => 11300, //端口号默认11300
\'timeout\' => 3 //连接超时时间
));
if (!$beanstalk->connect()) {
exit(current($beanstalk->errors()));
}
//查看beanstalkd状态
//var_dump($beanstalk->stats());
//查看有多少个tube
//var_dump($beanstalk->listTubes());
$beanstalk->useTube(\'test\');
//设置要监听的tube
$beanstalk->watch(\'test\');
//取消对默认tube的监听,可以省略
$beanstalk->ignore(\'default\');
//查看监听的tube列表
//var_dump($beanstalk->listTubesWatched());
//查看test的tube当前的状态
//var_dump($beanstalk->statsTube(\'test\'));
while (true) {
//获取任务,此为阻塞获取,直到获取有用的任务为止
$job = $beanstalk->reserve(); //返回格式array(\'id\' => 123, \'body\' => \'hello, beanstalk\')
if( $job ){
$res = $job[\'body\'];
do($res);//处理任务
$beanstalk->delete( $job[\'id\'] );
usleep(100000);
}else{
sleep(1);
}

sleep(1);
}
$beanstalk->disconnect();

  


四.不足之处
无法删除tube,只要曾经设置过tube,就一直存在,即便挨个删除job也不行,不知道是不是我的方法不对.

五.注意
beanstalk的reserve方法为阻塞获取,如果在将其放入web中,则会造成一直阻塞,导致客户端失去响应,需要重启web server.所以不要在web中获取任务或处理任务.

六.beanstalk管理工具
beanstalk管理工具暂未涉及.

以上是关于轻量级队列beanstalkd的主要内容,如果未能解决你的问题,请参考以下文章

Beanstalkd一个高性能分布式内存队列系统

一种消息和任务队列——beanstalkd

Beanstalkd,zeromq,rabbitmq的区别

如何安装和使用Beanstalkd工作队列

Beanstalkd工作队列

Laravel 队列与 beanstalkd 和 redis 重复