gaffer-rs

微批处理调度工具
授权协议 MIT
开发语言 Rust
所属分类 程序开发、 作业/任务调度
软件类型 开源软件
地区 不详
投 递 者 薛兴德
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

gaffer 是 Rust 编写的微批处理调度工具,可优先级并行作业调度程序,具有并发排除、作业合并、重复作业和较低优先级的负载限制等功能。

特点

  • 循环执行:作业将在某个时间间隔重新加入队列

  • 作业队列:使用可克隆的 [JobRunner] 从各个不同的线程发送作业

  • Future Jobs:(可选)创建 Futures 以从作业中获取结果

  • 作业优先级:为作业提供优先级,所有作业将按该优先级顺序执行

  • 作业合并:合并队列中相同 / 相似的作业以减少工作量

  • 并行执行:在多个线程上运行作业并锁定应该独占运行的作业,它们留在队列中,不占用其他资源

  • 并发排除:基于键的锁定以避免不应并发运行的作业

  • 优先级节流:为了让空闲线程准备好接收更高优先级的作业,通过将它们限制为较少数量的线程来限制较低优先级的作业

 相关资料
  • 背景:我们有一些由spring batch管理的作业(作为启动应用程序)由cron job触发,我正在努力用quartz替换cron并添加spring batch admin来管理作业。 到目前为止,我能够通过spring batch管理控制台运行这些作业,当quartz试图启动作业执行时,问题就会发生。JobLauncher、JobLocator对象为空,这是autowired。请注意,我使用基

  • 有一个基于某些条件删除文件的任务。这个任务应该每天在某个时间运行。我们是否应该为这个任务使用spring boot和调度器。或者spring批处理+调度器会很好。也可以在spring批处理中使用分区并行处理此任务。 谢谢

  • 主要内容:错误消息,复杂的命令行,子程序,Windows版本通常情况下,运行批处理文件时可能会遇到问题,而且大多数情况下都需要以某种方式调试批处理文件,以确定是批处理文件本身的问题。 以下是一些可以帮助调试批处理脚本文件的技术。 错误消息 要找出消息的来源,请按照下列步骤操作 - 第1步 - 移除,即或。 第2步 - 使用必要的命令行参数运行批处理文件,将所有输出重定向到日志文件以供以后比较。 第3步 - 在文件中搜索错误消息 第4步 - 检查上一行是否有

  • 我正在寻找最好的解决方案,以创建一个java web应用程序,以生成Excel/PDF格式的报告。类似于Google Adwords的东西,用户可以创建日程报告,并在以后生成报告时下载。 我正在考虑开发一个java应用程序,在其中用户记录,选择一个预先定义的报告,并提供输入参数(如报告日期等),这个请求将被排队或保存为Quarts作业(首选持久队列)。一个作业将监视队列/作业并执行该作业,生成报告

  • 我在版本2.1.4中开始学习Spring Boot Batch 这是我的配置 最后一节课是我的排定程序: