当前位置: 首页 > 软件库 > Web应用开发 > 网页组件 >

swoole-jobs

基于 swoole 的 job 调度组件
授权协议 MIT
开发语言 PHP
所属分类 Web应用开发、 网页组件
软件类型 开源软件
地区 国产
投 递 者 曾河
操作系统 Linux
开源组织
适用人群 未知
 软件概览

swoole-jobs

  • 基于swoole类似gearman的分布式任务处理系统
  • 高性能/动态多woker进程消费队列,加速后端耗时服
  • 无需像gearman一个worker配置一条crontab,swoole-jobs负责管理所有worker状态
  • 独立的swoole http api 入队列,api不依赖php-fpm

1. 说明

  • web中较慢的逻辑,比如统计/email/短信/图片处理等;
  • 支持redis/rabbitmq/zeromq等任何一种做队列消息存储;
  • 比yii/laravel等框架自带队列更稳定更快[消费进程可动态变化]
  • 自带yii2/phalcon/yaf/ThinkPHP5集成示例,其他框架可参考src/Action代码,
  • yii2完整示例
  • ThinkPHP5完整示例

2. 架构图

架构图进程模型

3. 特性

  • 基于swoole的job调度组件;类似gearman的分布式任务处理系统;
  • redis/rabbitmq/zeromq等任何一种做队列消息存储(目前只实现redis/rabbitmq);
  • 利用swoole的process实现多进程管理,进程个数可配置,worker进程退出后会自动拉起;
  • 子进程循环次数可配置,防止业务代码内存泄漏;默认stop命令会等待子进程平滑退出;
  • 支持topic特性,不同的job绑定不同的topic;
  • 每个topic启动对应数量的子进程,杜绝不同topic之间相互影响;
  • 根据队列积压情况,子进程动态启动进程数,最大子进程个数可配置;
  • 支持composer,可以跟任意框架集成;
  • 日志文件自动切割,默认最大100M,最多5个日志文件,防止日志刷满磁盘;
  • 出现积压情况,支持钉钉机器人等消息提醒;

4. 安装

4.1 composer

git clone https://github.com/kcloze/swoole-jobs.git
cd swoole-jobs

composer install

4.2 docker

  • git clone https://github.com/kcloze/swoole-jobs.git
  • cd swoole-jobs and composer install
  • 根据根目录Dockerfile构建镜像
  • docker build -t swoole-jobs .
  • docker run -it -v ~/data/code/php:/data swoole-jobs /bin/bash
  • 进入容器之后,进入项目目录:
    • php ./bin/swoole-jobs.php start

5. 运行

5.1 示范

1.修改配置config.php

2.启动服务
php ./bin/swoole-jobs.php start >> log/system.log 2>&1

3.往队列推送任务
php ./tests/testJobsSerialzie.php

4.启动api服务
php ./bin/swoole-jobs.php http start

5.停止api服务
php ./bin/swoole-jobs.php http stop



5.2 启动参数说明

NAME
      - manage swoole-jobs

SYNOPSIS
      -php ./bin/swoole-jobs.php app [options]
        -Manage swoole-jobs daemons.

WORKFLOWS

      -help [command]
        -Show this help, or workflow help for command.

      -restart
        -Stop, then start swoole-jobs master and workers.

      -start
        -Start swoole-jobs master and workers.

      -stop
        -Wait all running workers smooth exit, please check swoole-jobs status for a while.

      -exit
        -Kill all running workers and master PIDs.

      -http start 
        -Start swoole http server for apis.
      
      -http stop
        -Stop swoole http server for api.


5.3 API parameter description

5.3.1 api url

5.3.2 api params:

Params Type Demo
jobData json {"topic":"MyJob","jobClass":"\Kcloze\Jobs\Jobs\MyJob","jobMethod":"test2","jobParams":["kcloze",1532857253,"oop"],"jobExtras":[],"serializeFunc":"php"}

6. 服务管理

线上启动和关闭服务,有两种方式:

6.1 启动脚本加入到crontab定时任务,每分钟执行一次(swoole-jobs会自动检查是否在执行,避免重复启动)

* * * * * /usr/local/bin/php /***/swoole-jobs.php start >> /***/log/system.log 2>&1

6.2 使用systemd管理(故障重启、开机自启动)

更多systemd介绍

1. 根据自己项目路径,修改 docs/systemd/swoole-jobs.service
2. sudo cp -f systemd/swoole-jobs.service /etc/systemd/system/
3. sudo systemctl --system daemon-reload
4. 服务管理
#启动服务
sudo systemctl start swoole-jobs.service
#reload服务
sudo systemctl reload swoole-jobs.service
#关闭服务
sudo systemctl stop swoole-jobs.service

7.系统截图

htop截图

实例图

status

status

钉钉提醒

message

8. change log

9. 注意事项

  • 如果嵌入自己的框架,可参考src/Action代码,继承抽象类Kcloze\Jobs\Action\BaseAction
  • 各种框架服务启动会稍有不同,具体参考:example/bin项目的代码
  • swoole 4 以上版本需要设置php.ini,关闭协程

10. 压测

  • 瓶颈: redis/rabbitmq队列存储本身和job执行速度

11. 感谢

12. 联系

qq群:141059677

13. 捐赠

  • 如果这个项目真的帮助到你,麻烦点击右上角给个star
  • ##  swoole+Redis实现实时数据推送 <?php /** * *************************************** * 单进程保护 * * *************************************** */ $phpSelf = realpath($_SERVER['PHP_

  • 需求背景 PHP RabbitMQ扩展不支持连接池 连接池的作用主要是节省连接的时间。连接池机制预先打开N个连接,把它们缓存起来,当需要使用连接的时候就直接使用这些已经打开的连接,从而节省了时间。但PHP的RabbitMQ扩展为了兼容PHP-FPM模式,因为在PHP-FPM模式下是不能做连接池的,脚本在解释执行完毕后会释放所有的内存资源,没法进行内存常驻。 RabbitMQ配置信息与业务强耦合 R

  • 基于 Swoole 实现协程篇(三):在 Laravel 框架中使用协程 由 学院君 创建于1年前, 最后更新于 1年前 版本号 #1 7432 views 4 likes 0 collects 前两篇教程我们陆续介绍了 Swoole 协程的实现原理,以及如何在 PHP 中基于 Swoole 协程实现并发编程,今天,学院君将介绍如何在 Laravel 框架中使用 Swoole 协程,还是基于 La

  •     https://github.com/kcloze/swoole-jobs   一个基于swoole的作业调度组件,已经实现了redis和rabitmq队列消息存储。 参考资料: swoole    https://wiki.swoole.com/wiki/page/1.html    rabitmq    https://www.kancloud.cn/yunxifd/rabbitmq/

  • jobs 基于swoole的 分布式任务调度 分布式任务调度swoole 本项目是一个邮件分发平台的服务器中间件,采用swoole框架完成进程管理,任务异步执行,服务器通信。在web项目中,窄 一些客户的操作无法在短时间完成,或者用户创建一个定时的任务,如果多个用户创建了较多的任务,需要拓展多台机器处理 任务。比如联系人csv导入数据库,到处数据,生成报表,推送邮件等操作。本项目分为2部分,mas

 相关资料
  • 安装 swoole 详细的 swoole安装可以参数 swoole官方文档,https://wiki.swoole.com/wiki/page/6.html 安装 cmf-swoole扩展 composer require thinkcmf/cmf-swoole:~5.1.0 启动 swoole cd到程序根目录,执行如下命令: php think swoole swoole启动后会输出如下内

  • 类名: Imi\Util\Swoole Swoole 环境下的一些工具类。 方法 getMasterPID 获取master进程pid echo Swoole::getMasterPID(); getManagerPID 获取manager进程pid echo Swoole::getManagerPID();

  • Swoole 是一个使用 C++ 语言编写的基于异步事件驱动和协程的并行网络通信引擎,为 PHP 提供协程、高性能网络编程支持。提供了多种通信协议的网络服务器和客户端模块,可以方便快速的实现 TCP/UDP服务、高性能Web、WebSocket服务、物联网、实时通讯、游戏、微服务等,使 PHP 不再局限于传统的 Web 领域。

  • Swoole 是一个使用 C++ 语言编写的基于异步事件驱动和协程的并行网络通信引擎,为 PHP 提供协程、高性能网络编程支持。提供了多种通信协议的网络服务器和客户端模块,可以方便快速的实现 TCP/UDP服务、高性能Web、WebSocket服务、物联网、实时通讯、游戏、微服务等,使 PHP 不再局限于传统的 Web 领域。

  • Swoole Tracker 作为 Swoole 官方出品的一整套企业级 PHP 和 Swoole 分析调试工具,更专一、更专业。 介绍 时刻掌握应用架构模型 自动发现应用依赖拓扑结构和展示,时刻掌握应用的架构模型 分布式跨应用链路追踪 支持无侵入的分布式跨应用链路追踪,让每个请求一目了然,全面支持协程/非协程环境,数据实时可视化 全面分析报告服务状况 各种维度统计服务上报的调用信息, 比如总流量

  • 由于PHP语言不支持多线程,因此Swoole使用多进程模式,在多进程模式下存在进程内存隔离,在工作进程内修改global全局变量和超全局变量时,在其他进程是无效的。 设置worker_num=1时,不存在进程隔离,可以使用全局变量保存数据 $fds = array(); $server->on('connect', function ($server, $fd){ echo "connec