Schedulis 是一个基于 LinkedIn 的开源项目 Azkaban 开发的工作流任务调度系统。该调度系统具备高性能,高可用(去中心化多调度中心和多执行器)和多租户资源隔离等金融级特性;现已被集成到数据应用开发门户 DataSphere Studio。
Schedulis 支持常规的 Command Shell 和 Linkis(HadoopMR、 Hive、Spark、Sqoop、 Python)大数据任务;同时还支持特色的数据检查和工作流之间的依赖任务;支持完善的告警和工作流执行策略;提供多种类型的参数设置,动态全局变量和简单易用的 UI。
DataSphere Studio 可以将编辑好的工作流一键发布到 Schedulis 进行调度,而 Schedulis 也实现了 Linkis 插件,用于向 Linkis 提交任务,这样使得 Schedulis 与 DataSphere Studio 和 Linkis 能够无缝衔接,从而实现数据应用开发全流程的连贯顺滑用户体验。
下面将 Schedulis 和业界现有的调度系统做了个对比,包括:Azkaban, Dolphin, Airflow 和 Xxl-job
模块 | 描述 | Schedulis | Azkaban | Dolphin | Airflow | Xxl-job |
---|---|---|---|---|---|---|
HA | 调度中心高可用 | 支持 | 不支持 | 支持 | 不支持 | 支持 |
资源管理 | 执行节点多租户 | 支持 | 不支持 | 支持 | 不支持 | 不支持 |
运行视图 | 工作流结构图(DAG) | 清晰显示任务状态,任务类型,工作流状态,重试次数等关键信息 | 只显示工作流和任务状态 | 清晰显示任务状态,类型,重试次数,任务运行机器等关键信息 | 只显示任务状态 | 只显示任务状态 |
WeDataSphere整合 | 对DataSphere Studio和Linkis的支持 | 与DSS和Linkis无缝对接 | 不支持 | 不支持 | 不支持 | 不支持 |
特色功能 | 循环执行 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 |
灵活的工作流参数 | 支持不同级别多种设置方式的工作流参数 | 不支持 | 不支持 | 不支持 | 不支持 | |
hive表数据到达检查 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
工作流之间交互依赖 | 支持 | 不支持 | 不支持 | 不支持 | 不支持 | |
失败策略 | 支持任务失败暂停、跳过、重试、超时处理 |
不支持失败策略 |
支持任务超时处理 |
支持部分任务重跑策略 |
支持任务超时处理和失败重试 |
|
系统管理 | 用户管理 | 支持 | 不支持 | 支持 | 支持 | 不支持 |
一、Schedulis 普通版环境部署准备 一)、使用前置 请基于 Linux 操作系统操作(建议 CentOS) 创建新用户 hadoop, 并为该用户赋予 root 权限,用于部署schedulis 准备好 MySQL(版本5.5+) 的客户端和服务端 请确保已安装并且正确配置 JDK(版本1.8+) 配置集群各节点之间的免密码登录 请准备一台已经正确安装和配置 Maven(版本3.3+) 和
Schedulis执行任务 添加执行用户或组是否有相应的权限。 sudo adduser hadoop sudo usermod -a -G hadoop hadoop #并为该用户赋予 root 权限 vim /etc/sudoers hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL 一、执行command任务 新建hello项目、hello.jo
我可以在Haskell中编写受流融合影响的自己的地图函数吗? 为什么列表上的递归迭代不需要融合?这完全破坏了Haskell模式匹配的良好表达能力:! 前奏循环功能融合了吗?
- golang 协程交替打印数字 - 删除链表重复元素,重复元素不保留 其他就是一些项目相关的问题。 总体做的事情是配合度小满的私有云改造,,工作强度大概是10-9-5,周末可能需要加班 #面经#
金融服务 自有人类社会以来,金融交易就是必不可少的经济活动。交易角色和内容的不同,反映出来就是不同的生产关系。通过交易,可以优化社会的效率,实现价值的最大化。人类社会的发展,离不开交易形式的演变。可见,交易在人类社会中的地位有多重要。 交易本质上交换的是价值的所属权。现在为了完成交易(例如房屋、车辆的所属权),往往需要一些中间环节,特别是中介担保角色。这是因为,交易双方往往存在着不充分信任的情况,
用友金融 面试时间:2024年7月9日 时常:30分钟 岗位:Java后端转正实习 自我介绍 使用过什么Spring模块?比如web SpringBoot和Spring有什么区别? SpingMvc的工作流程? 介绍Mybatis的一级缓存和二级缓存? Mybatis的#和$有什么区别? 使用过什么设计模式?单列设计模式的使用场景 单例模式和静态类有什么区别? 静态类启动会创建对象吗? Jvm的内
学习Github工作流和操作,测试yaml的最佳、最快或最佳方法是什么。 我发现自己通过在浏览器中编辑工作流进行测试,然后提交,然后在另一个选项卡中单击“我的方式”进入操作并向下进入作业。 我知道您需要工作流中的容器,但我在想是否有更简单的方法来测试“yaml语言”。就像下面一样,我正在学习如何“呼应”环境变量。 这是一种方法还是有一种更聪明的方法,可以使用VSCode和一些docker容器来调试
1. 背景说明 在 API 列表基础上,FinClip围绕金融特色场景,提供了如下API接口供小程序使用。 需声明的是,使用以下API时,请确保宿主App已经集成对应能力且与FinClip SDK实现联调的第三方功能SDK,否则小程序调用将无法实现相关功能。 具体来说,此类场景包括: 如果App集成了FinClip SDK + 已与FinClip 实现联调的SDK,则此时小程序可以直接调用API,