openhandx batch

异步批量调度框架
授权协议 GPL
开发语言 Java
所属分类 程序开发、 作业/任务调度
软件类型 开源软件
地区 国产
投 递 者 池庆
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

分布式批量架构是解决复杂业务处理、数据分析、科学计算等耗时工作任务,这些任务被安排在特定的服务器上执行,被统一规划、拆分成子任务、统一调度、并发执行,大大提高了执行效率和可靠性,另外异步批量架构可以部署在网络内的任意服务器或PC上形成企业的云计算。

基本原理:举例说明异步批量的最基本原理,实际应用要比这复杂得多。比如:某企业要生成年终表报,并且年终报表要按照企业的各个部门、分公司出,报表的数据来源有企业的财务系统、ERP系统、CRM系统。
技术分析:

  • 1、生成报表首先要把数据从各个系统中数据抽取、加工、汇总,最终生成报表,每步操作都要按照各个部门、分公司分类。

  • 2、总公司报表要等到各个部门和分公司加工、汇总的数据出来后再汇总,最后生成总公司报表。

  • 3、各个部门和分公司的数据抽取、加工、汇总可以是并行处理的,各个部门和分公司的报表生成可以和总公司的数据汇总并行处理。

批量执行步骤:

  • 1、首先由客户端或应用系统发起一个年终报表的事件

  • 2、总控服务器收到事件后,根据当前的事件类型,找到预先配置年终报表的节点运行图(比如节点运行图中有财务系统数据抽取节点、ERP数据抽取节点、数据加工节点、数据汇总节点、部门公司报表生成节点、总公司数据汇总节点、总公司报表生成节点)

  • 3、总控服务器根据节点运行图按照节点的先后顺序及依赖关系,成分成许多任务(如:A部门的财务系统数据抽取任务、B部门的财务系统数据抽取任务、C部门的财务系统数据抽取任务、A部门的ERP数据抽取任务、B部门的ERP数据抽取任务、C部门的ERP数据抽取任务...),并将这些任务发送到任务服务器去并发执行

  • 4、任务服务器收到任务并执行任务,如:A部门的ERP数据抽取任务、B部门的财务系统数据抽取任务

  • 5、任务服务器执行完任务后将任务信息反馈到总控服务器

  • 6、总控服务器接收到任务反馈信息后,判断当前一批节点的任务否运行全部完成,如果完成则创建下一批任务(如:A部门数据加工节点任务、B部门数据加工节点任务、B部门数据加工节点任务),重复第3部直到所有节点的任务完成(最终生成所有报表)。

3. 总体逻辑结构

  • 1、事件由应用系统或事件中心创建,通过事件通讯服务器到达已部署的总控服务器

  • 2、总控服务器将事件按照预先定义好的节点图拆分、解析成任务,按照合适的条件再发送到任务通讯服务器,并记录日志

  • 3、任务服务器根据自身的资源情况从任务通讯服务器接受相应的任务去执行,实现了负载均衡

  • 4、任务执行完成后将记录日志,并将完成后的任务信息发送回任务通讯服务器

  • 5、总控服务器再从任务通讯服务器取回任务信息,判断节点和事件的完成情况,如果未完成继续后续节点的拆分和任务的发送,如果全部节点的任务完成则该事件完成

 相关资料
  • 我刚刚更新了 Play!框架到版本 2.1 和 scala 到版本 2.10... 现在我的游戏!应用程序已损坏。似乎Akka API已经发生了变化。我找不到现在使用的阿卡版本,但我认为这是最后一个版本...... 我刚刚阅读了迁移指南:http://doc.akka.io/docs/akka/2.1.0/project/migration-guide-2.0.x-2.1.x.html。 我相应地

  • 我有一个关于优化kafka异步生产者吞吐量的问题:配置批处理。大小和逗留。ms在使用异步生成器时会产生影响吗? 我这样问是因为我认为这些参数只会影响同步生产者,因为它将等待代理确认。在异步生产者的情况下,这不会产生影响吗? 此外,是否有任何配置参数可以优化异步生成器?

  • 我正在将我的应用程序从传统的webphere迁移到自由。 该代码使用异步调度过程。 我如何将这些代码移植到websphere liberty。 当我尝试在liberty(server.xml)中配置这个时,我发现了3个元素 a)托管的计划执行人 b) 持久调度执行程序 c) 托管执行程序 这个可以用哪个?

  • 我写了一个处理列表列表的Spring批处理作业。 Reader返回List of List。处理器处理每个ListItem并返回已处理的List。Writer将内容写入DB并从List of List中sftp。 我有一个从spring批处理程序调用异步REST api的用例。在ListenableFuture响应上,我实现了LitenableFutureCallback来处理成功和失败,这正如预

  • 我需要一种在Java中实现异步作业调度的机制,并正在研究Quartz调度器,但它似乎没有提供必要的功能。 null

  • 问题内容: 我有ajax请求执行3个任务: 保存模型(数据库) 发电子邮件 提供成功或失败的消息。 因为此任务需要太多时间。用户可以等待长达20秒的响应(成功或失败的消息)。并且,如果用户关闭浏览器,则它停止在该用户当前处理的操作之一中。 这是糟糕的用户体验。 我希望用户将其数据提交给我的控制器,然后他将收到“成功或失败的消息”。并且该过程将完全在服务器端,并且它应该支持多个会话。 我怎样才能做到

  • 问题内容: 如何快速进行异步回调?我正在为我的应用程序编写一个小框架,因为它应该同时在iOS和OS X上运行。因此,我将非特定于设备的主要代码放入该框架中,该框架还处理对我的在线api的请求。很显然,我也希望应用程序的GUI以及ViewController在api请求完成后立即做出反应。在Objective- C中,我通过将包含必须在id变量中调用的函数以及函数本身的视图保存在选择器变量中的视图来

  • 本文向大家介绍JavaScript 异步调用,包括了JavaScript 异步调用的使用技巧和注意事项,需要的朋友参考一下 问题 可修改下面的 aa() 函数,目的是在一抄后用 console.log() 输出 want-value 但是,有额外要求: aa() 函数可以随意修改,但是不能有 console.log() 执行 console.log() 语句里不能有 setTimeout 包裹 解