TASKCTL

ETL 调度技术平台
授权协议 GPLv3
开发语言 C/C++
所属分类 程序开发、 作业/任务调度
软件类型 开源软件
地区 国产
投 递 者 濮阳浩穰
操作系统 Linux
开源组织
适用人群 未知
 软件概览

ETL的技术本质是:通过调度管理控制一系列具有数据处理功能的各种程序有序地运行。因此,有人总结:“ETL是BI(商业智能)的基础,调度是ETL的灵魂”。从功能层面讲,调度是ETL技术体系的重要组成部分;从架构层面讲,调度是ETL技术体系的核心;从应用层面讲:调度是成百上千任务的管理者、控制者,它不仅限于调度任务,同时还担当各种任务的分类管理、展示、监控维护等诸多重任。可见ETL调度的重要性,ETL调度独立发展将是ETL技术发展的一种必然趋势!

TASKCTL开源版作为目前唯一的ETL调度领域开源软件,保证100% free,绝无黑盒代码。它志在促进该领域的独立发展,使调度在ETL领域独立化、专业化、系统化。从而使项目实施更轻松便捷,使企业基础架构更清晰、更易管理。

(一)主要适用环境

操作系统:aix/linux/unix/windows等(由于采用标准c语言构建,理论上可应用与各种主流unix系列);

项目规模:适用于中小型ETL项目;

ETL工具环境:TASKCTL由于采用任务插件驱动机制,因此,可支持各种存储过程、各种脚本、以及诸如Datastage\Informatica\kettle等各种ETL工具任务。

(二)主要功能

核心调度功能:主要可以完成串行、并行、依赖、互斥、执行计划排程(自然日历、逻辑日历)、定时、容错(重做、忽略)、循环、条件分支、远程、负载均衡、断点续作、参数控制、返回控制、跳转控制、变量自动设置、作业输入输出传递、时间窗口控制、并发控制、资源阈值控制、优先级控制、自定义条件等各种不同的核心调度功能。

扩展功能

网络扩展:可实现单机部署、多服务部署、远程代理部署、集群部署等多种网络部署;

应用扩展:设计有专门的应用API接口(C接口、JAVA接口、WebServices接口),可实现更多的调度应用;

任务类型扩展:除开工具本身内置的各种ETL作业、DataStage、Oracle、DB2、sql、Kettle、Java、Shell、Python、exe、bat、ftp、script等作业类型外,为了适应不同类型的任务调度,平台可通过具有统一模版、统一接口的插件进行快速自定义扩展。几乎只要有命令行接口的程序,TASKCTL都可支持调度;

应用功能:配置功能、流程设计功能、监控功能、各种查询功能以及诸如重跑、重置等人工干预功能;

高可用支持:支持高可用分布式集群调度,可跨平台调度,Linux可调度Windows平台作业;

预警支持:支持短信与邮件预警功能,可通过配置实现JOB的短信与邮件告警;

流程图支持:流程图采用有序无环图思想设计,可以根据作业自动绘制流程图拓扑。

(三) 主要创新

简易性:整个软件安装可实现分钟级完成安装,一分钟即可上手完成“Hello World!”配置;

作业实时监控:任务监控采用高效数据缓存算法,可对10万级作业进行统一实时监控和错误秒级定位;

无数据库设计:国内首款专业无数据库调度技术平台;

插件机制:业界唯一通过具有统一应用接口的插件来扩展任务类型的技术平台;

流程设计代码开发设计理念:调度领域唯一通过文本代码设计流程的调度技术平台。具有语法代码特征的文本代码设计与传统记录表格对话框方式相比,操作更方便、设计更灵活、可读性更强。

(四)其它

主要文档

《TASKCTL1.0(开源版)快速使用指南》

《TASKCTL1.0(开源版)流程XML代码》

《TASKCTL1.0(开源版)任务驱动插件应用》

《TASKCTL1.0(开源版)技术白皮书》

《TASKCTL1.0(开源版)二次开发手册》

《TASKCTL1.0(开源版)源代码简要说明》

  • Q:无法执行存储过程? 答:存储过程运行环境未配置成功,通常情况是TASKCTL安装用户的PATH环境变量没有把sqlplus命令的路径添加进去。首先sqlplus路径添加到环境变量PATH,然后重新登录TASKCTL安装用户使环境变量生效。 Q:Designer中流程修改后,无法同步到Monitor中? 答:TASKCTL分为编辑区和工作区,只要运行过一次的流程,Designer再次修改不会主动

  • 该楼层疑似违规已被系统折叠 隐藏此楼查看此楼 转载自 TASKCTL部分FAQ--技术交流|业界领先ETL批量调度专家 系统安装与维护: A1、安装时环境变量已设置,但安装时依然提示环境变量未设置? 答:该问题主要是因为环境变量配置未生效。先检查是否按照安装文档添加了环境变量,安装taskctl需要两个环境变量,如果没有配置,在安装用户根目录下的.bash_profile(不同的登录shell,读

 相关资料
  • base北京-2024届提前批-Java后端开发 更新 HR通知三面通过,已拟录取。百度今年没有意向书,等10月前谈薪。 07/17 一面 视频面试 自我介绍 一、深度学习 你本科发表了这么多论文,为什么研究生要转专业呢? 你的 CSDN 博客是从什么时候开始写的? 你研究生具体的方向是什么? 因为你提到你研究生对 CV 有一定了解,你在研究生阶段在这个方向有什么成果或做了什么项目? 你觉得计算机

  • 更改历史 * 2017-11-12 高天阳 增加类比内容,更改页面格式 * 2017-7-15 高天阳 更改内容 * 2017-6-1 江伟 初始化文档 1 历史、现状和发展 1.1 历史 GitBook创建于2014年中期,致力于为文档,数字书写和出版创建一个现代化的简单解决方案。 我们已经开始构建一个开源的格式。哲学是简单到优雅的地步,消除内容创作者的分心和关

  • 在不那么容易找到JavaScript 调试程序的年代,开发人员不得不发挥自己的创造力,通过各种方法来调试自己的代码。结果,就出现了以这样或那样的方式置入代码,从而输出调试信息的做法。其中,最常见的做法就是在要调试的代码中随处插入alert()函数。但这种做法一方面比较麻烦(调试之后还需要清理),另一方面还可能引入新问题(想象一下把某个alert()函数遗留在产品代码中的结果)。如今,已经有了很多更

  • 直播 采集 iOS HTTP Live Streaming DirectShow Android setPreviewCallback MediaRecorder ffmpeg getstreamer 机型适配 PC mjpg-streame jpeg 摄像头驱动 摄像机 前处理 美颜 GPU计算 OpenCL DirectCompute GPGPU C++AMP 滤镜 画面风格 GPUImage

  • 依旧是被捞的面试, 这次聊天的内容比较多, 不是很有参考性, 问题没写全 1. 自我介绍 2. 面试官介绍部门 3. 为什么选前端 4. (因为项目用的是vue2) 为什么用vue2 5. 平时怎么学习的 6. 再次问为什么选前端 7. 有没有实习/面试的经历, 有没有学到什么 8. 说一个近期在学习中遇到并解决的问题 9. (聊到了Promise) Promise中的一些API 10. 手写题:

  • 本文向大家介绍PHP技术开发微信公众平台,包括了PHP技术开发微信公众平台的使用技巧和注意事项,需要的朋友参考一下 下面通过图文并茂的方式介绍微信公众平台开发过程,具体内容如下: 微信公众平台有两种模式:编辑模式 和 开发模式。 普通的功能可以通过编辑模式来搞定。开发模式具有更多的功能。让我们来使用开发模式开发helloword吧 步骤如下: 第一步:先注册一个公众号(https://mp.wei

  • 一面: 自我介绍 你用过什么框架? 说一下你的项目? 评估一下项目的复杂度 多个不同的账户SSO登陆怎么对应一个用户profile呢?(没问具体的OAuth协议 GraphQL解决了什么问题,你是怎么做这个技术决定的,带来了那些好处 Vue有了解吗,能说一下v-model的原理吗? 简单涉及到了render原理 说一下你知道的所有前端布局方法 浮动,flex,grid 追问:flex的浏览器兼容性

  • 认证(Authentication) 身份验证是大多数现有应用程序的重要组成部分。有许多不同的方法、策略和方法来处理用户授权。我们最终决定使用什幺取决于特定的应用程序要求,并且与它们的需求密切相关。 passport 是目前最流行的 node.js 认证库,为社区所熟知,并相继应用于许多生产应用中。将此工具与 Nest 框架集成起来非常简单。为了演示,我们将设置 passport-http-bea