当前位置: 首页 > 工具软件 > huey > 使用案例 >

Huey 和celery 的区别

屠锐
2023-12-01

huey
配置简单,支持自动重试失败的任务
轻量级;重在 轻量,代码也比较简单,没有 celery 功能强大,目前只支持redis
Huey——负责协调可执行任务和队列后端
Huey.task()——装饰器来指示可执行任务
Huey.periodic_task() ——装饰器以指示以周期性间隔执行的任务
TaskResultWrapper.get() ——从任务获取返回值
crontab() ——用于定义执行周期性任务的间隔时间
huey 组成 生产,消费,队列,Python main.py 是生产者,
./cons.sh 是消费者 ,队列只能使用 redis 目前只支持队列,从 lpush 打入队列中,brpop 读取
方式,1 先配置队列,消费者需要指定一个实例 config.py

huey 封装了队列 ,用于存取, 主要定义 redis 的储存
task.py api 定义最终被消费者执行的任务,用task 装饰一下,你想让消费者运行的任务,
这样就定义了一个基本的基本任务

主程序是main 导入了配置和任务,确保所有任务都会加载到内存
运行步骤
1 确保本地运行redis
2 安装 huey
3 启动消费者:huey_consumer.py 在./cons.sh 有封装直接运行./cons.sh
huey_consumer可以包含很多参数,主要分为三个group(Logging日志记录, Workers任务worker相关, Scheduler计划任务相关)

4 运行主程序 python main.py,定义需要执行任务的方法

作用:简单的消费
1延迟执行任务
2

2 重试失败任务
异常重试:当任务出现异常时进行retry,并且可以指定重试延时时
Huey支持有限次重试失败任务。如果在执行任务期间引发了异常,但是你已经指定了retries参数,则任务将重新入队并再次尝试,直到指定的重试次数。
如下显示的一个任务,将重试3次,每次都会抛出异常

定期任务 个人觉得还是用linux 自带的crontab 比较好用
huey支持的另一个使用模式是定期执行任务。依照crontab行为,同时遵循类似的语法。定期执行的任务,不应返回有意义的结果,也不应接受任何参数。
让我们添加一个每分钟打印一次字符窜的新任务——我们将使用它来测试消费者是否正在按计划执行任务

取消或暂停任务,
要撤消给定任务的所有实例,请对任务本身使用revoke()和restore()方法:
huey可以停止任务执行。这适用于正常任务,延迟任务和定期任务。
为了“revoke(撤销)”任务,你需要在实例化Huey对象时指定一个result_store参数。
如果消费者没有开始执行任务,你可以取消正常的任务:

取消或暂停定期任务
当我们开始处理定期任务时,撤销选项会更有意思。
我们将使用打印时间代码作为示例:
celery

celery (芹菜)有俩种方法,
1种是装饰器,一种是远程调用,
缺点:1 celery 做定时任务时,有一定的时间的延时,
2 做定时任务会让任务重复,当worker 节点停止了,而beat 在之后才会停止,下一次启动worker 的时候,还会执行上一次未完成的任务,可能会有重复,,所以在看日志的时候,可能会看到上一个的任务
redis 添加操作,把数据存储到Redis里 zadd ()

1,定义任务队列
开启worker 之后
celery
将请求要处理的任务丢到任务队列中去,由空闲的worker 去处理,处理的结果会暂存到后台数据库中去,可以在一台,或多台机器,同时起多个worker 进行操作,来实现分布式任务处理
celery 名词:
任务:task 就是一个python 函数
队列: queue 将执行的任务加入到队列中去
工人:worker 在一个新进程中,负责执行队列的任务
代理人: borker 负责调度,在布置环境中使用redis
启动worker 在普通脚本里,celery -A tasks worker --loglevel=info 运行命令需在,tasks 的目录下
tasks 属于任务文件夹的文件名
celery -A tasks worker --loglevel=info
开始调用程序
from Cleery import celery
import time
=========重点是 任务的远程调用send_task()方法
celery 作为分布式系统,支持远程worker . 可以利用send_task函数,以函数命名的方式调用task,
celery multi start 10 -A rawhttp.image_spider -l warn -c 100 -P gevent -Q rawhttp.image_spider -b redis://127.0.0.1:6379/6

远程调用
Celery的架构由三部分组成,消息中间件(message broker),任务执行单元(worker)和任务执行结果存储(task result store)组成。

celery 适合实时处理的分布式耗时任务
定时任务不咋用,目前 celery 现在常用的是rabbitmq,可以执行多个worker
用户使用 Celery 产生任务,借用中间人来传递任务,任务执行单元从中间人那里消费任务。任务执行单元可以单机部署,也可以分布式部署,因此 Celery 是一个高可用的生产者消费者模型的异步任务队列,
区别:
1celery 支持不同的存储方式 redis MongoDB,rabbitmq,等
huey 只支持redis
2Celery task 中不允许调用别的 task 后阻塞式的 get 等待结果
3Celery 非常适合用于那种你把任务抛出去就不用管了的场景
4 因为当数据量很大的时候出现了 socket pipeline 错误

 类似资料: