beanstalkd
安装
##beanstalkd是什么
beanstalkd是一个高性能、轻量级的内存队列系统，最初的设计是想通过后台异步执行耗时的任务来降低高容量WEB应用系统的页面访问延迟
Beanstalkd的特性和工作场景：
Beanstalkd 是一个轻量级消息中间件，它最大特点是将自己定位为基于管道 (tube) 和任务 (job) 的工作队列 (work-queue)：
Beanstalkd 支持任务优先级 (priority), 延时 (delay), 超时重发 (time-to-run) 和预留 (buried), 能够很好的支持分布式的后台任务和定时任务处理。它的内部实现采用 libevent, 服务器-客户端之间用类似 memcached 的轻量级通讯协议，具有有很高的性能。
尽管是内存队列, beanstalkd 提供了 binlog 机制, 当重启 beanstalkd 时，当前任务状态能够从纪录的本地 binlog 中恢复。
管道 (tube):
管道类似于消息主题 (topic), 在一个 Beanstalkd 中可以支持多个管道, 每个管道都有自己的发布者 (producer) 和消费者 (consumer). 管道之间互相不影响。
任务 (job):
Beanstalkd 用任务 (job) 代替消息 (message) 的概念。与消息不同，任务有一系列状态
ready：需要立即处理的任务，当延时 (DELAYED) 任务到期后会自动成为当前任务
delayed：延迟执行的任务, 当消费者处理任务后, 可以用将消息再次放回 delayed 队列延迟执行
reserved：已经被消费者获取, 正在执行的任务。Beanstalkd 负责检查任务是否在 TTR(time-to-run) 内完成
buried：保留的任务: 任务不会被执行，也不会消失，除非有人把它 “踢” 回队列
任务优先级 (priority):
任务 (job) 可以有 0~2^32 个优先级, 0 代表最高优先级。 beanstalkd 采用最大最小堆 (Min-max heap) 处理任务优先级排序, 任何时刻调用 reserve 命令的消费者总是能拿到当前优先级最高的任务, 时间复杂度为 O(logn)
延时任务 (delay):
有两种方式可以延时执行任务 (job): 生产者发布任务时指定延时；或者当任务处理完毕后, 消费者再次将任务放入队列延时执行 (RELEASE with )。这种机制可以实现分布式的 java.util.Timer，这种分布式定时任务的优势是：如果某个消费者节点故障，任务超时重发 (time-to-run) 能够保证任务转移到另外的节点执行。
任务超时重发 (time-to-run):
Beanstalkd 把任务返回给消费者以后：消费者必须在预设的 TTR (time-to-run) 时间内发送 delete / release/ bury 改变任务状态；否则 Beanstalkd 会认为消息处理失败，然后把任务交给另外的消费者节点执行。如果消费者预计在 TTR (time-to-run) 时间内无法完成任务, 也可以发送 touch 命令, 它的作用是让 Beanstalkd 从系统时间重新计算 TTR (time-to-run).
任务预留 (buried):
如果任务因为某些原因无法执行, 消费者可以把任务置为 buried 状态让 Beanstalkd 保留这些任务。管理员可以通过 peek buried 命令查询被保留的任务，并且进行人工干预。简单的, kick 能够一次性把 n 条被保留的任务踢回队列。
Beanstalkd 协议:
Beanstalkd 采用类 memcached 协议, 客户端通过文本命令与服务器交互。这些命令可以简单的分成三组:
生产类 - use / put [bytes]:生产者用 use 选择一个管道 (tube), 然后用 put 命令向管道发布任务 (job).
消费类 - watch / reserve / delete / release / bury / touch
消费者用 watch 选择多个管道 (tube), 然后用 reserve 命令获取待执行的任务，这个命令是阻塞的。客户端直到有任务可执行才返回。当任务处理完毕后, 消费者可以彻底删除任务 (DELETE), 释放任务让别人处理 (RELEASE), 或者保留 (BURY) 任务。
维护类 - peek job / peek delayed / peek ready / peek buried / kick
用于维护管道内的任务状态, 在不改变任务状态的条件下获取任务。可以用消费类命令改变这些任务的状态。
被保留 (buried) 的任务可以用 kick 命令 “踢” 回队列。
安装
yum install beanstalkd --enablerepo=epel
- 如果出现一下错误
Error getting repository data for epel, repository not found
下载 epel
wget http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm && rpm -ivh epel-release-latest-7.noarch.rpm
beanstalkd参数：
/usr/bin/beanstalkd -h
Options:
-b 开启binlog，断电后重启会自动恢复任务。
-f MS fsync最多每MS毫秒
-F从不fsync（默认）
-l ADDR侦听地址（默认为0.0.0.0）
-p端口侦听端口（默认为11300）
-u USER成为用户和组
-z BYTES设置最大作业大小（以字节为单位）（默认值为65535）
-s BYTES设置每个wal文件的大小（默认为10485760） （将被舍入到512字节的倍数）
-c压缩binlog（默认）
- n 不要压缩binlog
-v显示版本信息
-V增加冗长度
-h显示这个帮助
配置文件
用
rpm -ql beanstalkd找到配置文件位置如下
/etc/sysconfig/beanstalkd
配置信息
ADDR=-l 0.0.0.0
PORT=-p 11300
USER=-u beanstalkd
BINLOG_DIR=-b /var/lib/beanstalkd/binlog
- 开启binlog，断电后重启会自动恢复任务
- 启动命令
beanstalkd & - 查看端口是否启动成功
netstat -tupln
tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 966/master
tcp 0 0 0.0.0.0:11300 0.0.0.0:* LISTEN 1212/beanstalkd
tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 1125/php-fpm: maste
tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd
tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 1117/nginx: master
tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 874/sshd
tcp6 0 0 ::1:25 :::* LISTEN 966/master
tcp6 0 0 :::111 :::* LISTEN 1/systemd
tcp6 0 0 :::22 :::* LISTEN 874/sshd
udp 0 0 0.0.0.0:68 0.0.0.0:* 683/dhclient
udp 0 0 0.0.0.0:111 0.0.0.0:* 1/systemd
udp 0 0 127.0.0.1:323 0.0.0.0:* 614/chronyd
udp6 0 0 :::111 :::* 1/systemd
udp6 0 0 ::1:323 :::* 614/chronyd