thorns

分布式异步队列系统
授权协议 未知
开发语言 Python
所属分类 服务器软件、 分布式应用/网格
软件类型 开源软件
地区 国产
投 递 者 厍浩广
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

thorns 是一个 Python 开发的分布式异步队列系统。

运行流程

  • 启动 redis 内存服务器,作为队列存储数据库使用

  • 配置芹菜 (celery) 运行环境,并连接 redis 队列内存,读取执行任务,并返回结果存储到后端 MySQL 数据库

  • 配置任务控制台花花 (flower),并连接 redis 队列内存,管理所有 worker 客户端与执行的任务队列

  • 通过 run.py 脚本调用 celery 向队列压入任务

  • 通过 flower 的 http api 脚本调用 api 向队列压入任务

  • 任务执行的结果自动存入后端数据库

运行环境:

  • CentOS、Kali Linux、Ubuntu、Debian

  • Python 2.7.x

  • Redis

  • MysQL

  • Celery

  • Tornado

  • Supervisord

 相关资料
  • 异步队列区别于 RabbitMQ Kafka 等消息队列,它只提供一种 异步处理 和 异步延时处理 的能力,并 不能 严格地保证消息的持久化和 不支持 完备的 ACK 应答机制。 安装 composer require hyperf/async-queue 配置 配置文件位于 config/autoload/async_queue.php,如文件不存在可自行创建。 暂时只支持 Redis Dri

  • 可能你还没有注意到,Vue异步执行 DOM 更新。只要观察到数据变化,Vue 将开启一个队列,并缓冲在同一事件循环中发生的所有数据改变。如果同一个 watcher 被多次触发,只会被推入到队列中一次。这种在缓冲时去除重复数据对于避免不必要的计算和 DOM 操作上非常重要。然后,在下一个的事件循环“tick”中,Vue 刷新队列并执行实际 (已去重的) 工作。Vue 在内部尝试对异步队列使用原生的P

  • 本文向大家介绍JS异步函数队列功能实例分析,包括了JS异步函数队列功能实例分析的使用技巧和注意事项,需要的朋友参考一下 本文实例讲述了JS异步函数队列功能。分享给大家供大家参考,具体如下: 场景: 做直播,会有入场消息,入场特效,用户如果有坐骑,需要给他展示几秒钟的坐骑特效,如果几个人同时进场,那该怎么展示呢?这时候就会想到setTimeout函数,对,思路不错,但是,异步函数队列怎么实现呢?直接

  • 我有两个线程用于在线游戏制作。一个线程接收两个 X 和 Y 数字,另一个线程将 X 和 Y 数字发送给登录到服务器的每个人。基本上,我需要一个队列,这将允许第一个线程将2D数组添加到队列中,并继续这样做,同时,将数组拉出并从队列中删除数组以用于发送给其他玩家。有没有办法做到这一点?我知道我需要一个同步的队列,但是我如何同步一个,这被称为阻塞队列吗? 总的来说,我需要一个同步的队列,这将允许两个线程

  • 主要内容:一、从一个新闻门户网站案例引入,二、推算一下你需要分析多少条数据?,三、黄金搭档:分布式存储+分布式计算这篇文章聊一个话题:什么是分布式计算系统? 一、从一个新闻门户网站案例引入 现在很多同学经常会看到一些名词,比如分布式服务框架,分布式系统,分布式存储系统,分布式消息系统。 但是有些经验尚浅的同学,可能都很容易被这些名词给搞晕。所以这篇文章就对“分布式计算系统”这个概念做一个科普类的分析。 如果你要理解啥是分布式计算,就必须先得理解啥是分布式存储,现在我们从一个小例子来引入。 比如说