Schedulis

金融级工作流调度方案
授权协议 Apache
开发语言 Java
所属分类 程序开发、 作业/任务调度
软件类型 开源软件
地区 国产
投 递 者 罗晨
操作系统 跨平台
开源组织 微众银行
适用人群 未知
 软件概览

Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio

Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。

与 DataSphere Studio 和 Linkis 的对接

DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度,而 Schedulis 也实现了 Linkis 插件,用于向 Linkis 提交任务,这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。

与业界现有调度系统的比较

下面将 Schedulis 和业界现有的调度系统做了个对比,包括:Azkaban, Dolphin, Airflow 和 Xxl-job

模块 描述 Schedulis Azkaban Dolphin Airflow Xxl-job
HA 调度中心高可用 支持 不支持 支持 不支持 支持
资源管理 执行节点多租户 支持 不支持 支持 不支持 不支持
运行视图 工作流结构图(DAG) 清晰显示任务状态,任务类型,工作流状态,重试次数等关键信息 只显示工作流和任务状态 清晰显示任务状态,类型,重试次数,任务运行机器等关键信息 只显示任务状态 只显示任务状态
WeDataSphere整合 对DataSphere Studio和Linkis的支持 与DSS和Linkis无缝对接 不支持 不支持 不支持 不支持
特色功能 循环执行 支持 不支持 不支持 不支持 不支持
  灵活的工作流参数 支持不同级别多种设置方式的工作流参数 不支持 不支持 不支持 不支持
  hive表数据到达检查 支持 不支持 不支持 不支持 不支持
  工作流之间交互依赖 支持 不支持 不支持 不支持 不支持
  失败策略

支持任务失败暂停、跳过、重试、超时处理

不支持失败策略

支持任务超时处理

支持部分任务重跑策略

支持任务超时处理和失败重试

系统管理 用户管理 支持 不支持 支持 支持 不支持
  • 一、Schedulis 普通版环境部署准备 一)、使用前置 请基于 Linux 操作系统操作(建议 CentOS) 创建新用户 hadoop, 并为该用户赋予 root 权限,用于部署schedulis 准备好 MySQL(版本5.5+) 的客户端和服务端 请确保已安装并且正确配置 JDK(版本1.8+) 配置集群各节点之间的免密码登录 请准备一台已经正确安装和配置 Maven(版本3.3+) 和

  • Schedulis执行任务 添加执行用户或组是否有相应的权限。 sudo adduser hadoop sudo usermod -a -G hadoop hadoop #并为该用户赋予 root 权限 vim /etc/sudoers hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL 一、执行command任务 新建hello项目、hello.jo

 相关资料
  • 我可以在Haskell中编写受流融合影响的自己的地图函数吗? 为什么列表上的递归迭代不需要融合?这完全破坏了Haskell模式匹配的良好表达能力:! 前奏循环功能融合了吗?

  • 金融服务 自有人类社会以来,金融交易就是必不可少的经济活动。交易角色和内容的不同,反映出来就是不同的生产关系。通过交易,可以优化社会的效率,实现价值的最大化。人类社会的发展,离不开交易形式的演变。可见,交易在人类社会中的地位有多重要。 交易本质上交换的是价值的所属权。现在为了完成交易(例如房屋、车辆的所属权),往往需要一些中间环节,特别是中介担保角色。这是因为,交易双方往往存在着不充分信任的情况,

  • - golang 协程交替打印数字 - 删除链表重复元素,重复元素不保留 其他就是一些项目相关的问题。 总体做的事情是配合度小满的私有云改造,,工作强度大概是10-9-5,周末可能需要加班 #面经#

  • 学习Github工作流和操作,测试yaml的最佳、最快或最佳方法是什么。 我发现自己通过在浏览器中编辑工作流进行测试,然后提交,然后在另一个选项卡中单击“我的方式”进入操作并向下进入作业。 我知道您需要工作流中的容器,但我在想是否有更简单的方法来测试“yaml语言”。就像下面一样,我正在学习如何“呼应”环境变量。 这是一种方法还是有一种更聪明的方法,可以使用VSCode和一些docker容器来调试

  • 1. 背景说明 在 API 列表基础上,FinClip围绕金融特色场景,提供了如下API接口供小程序使用。 需声明的是,使用以下API时,请确保宿主App已经集成对应能力且与FinClip SDK实现联调的第三方功能SDK,否则小程序调用将无法实现相关功能。 具体来说,此类场景包括: 如果App集成了FinClip SDK + 已与FinClip 实现联调的SDK,则此时小程序可以直接调用API,

  • 移动POS通过运营商蜂窝网络,连接金融服务机构,实现用户的灵活刷卡消费。 我们能够提供: 高速,稳定,覆盖广泛的通信服务,帮助用户更加快捷,方便的刷卡消费; 专业的业务平台和应用支持,帮助你降低通信成本,减少金融风险,提高服务形象; 专业的管理平台,让你实时了解通信终端的工作状态。