当前位置: 首页 > 软件库 > 程序开发 > 工作流引擎 >

Digdag

多云工作流引擎
授权协议 Apache-2.0
开发语言 Java Python JavaScript
所属分类 程序开发、 工作流引擎
软件类型 开源软件
地区 不详
投 递 者 云正信
操作系统 跨平台
开源组织
适用人群 未知
 软件概览

Digdag 是一个简单的工具,帮助你建立、运行、安排和监控复杂的任务管道。它可以处理依赖性问题,使任务串联或并行运行。

Digdag 取代了 cron,促进了 IT 运营自动化,协调了数据工程任务,协调了机器学习管道,等等。

Digdag 旨在实现易于部署、多云设置和模块化的结构来构建和扩展业务应用。拥有一系列企业功能,包括丰富的管理面板、多语言支持、错误处理、配置工具和版本控制工具。该解决方案采用 Java 和 Node.js 开发,支持 AWS、私有云、IBM 云和 Digital Ocean。​​​​

特性:

  • 轻松部署:只需下载二进制文件即可。同一个二进制文件可以同时运行服务器和客户端。
  • 简单配置:Digdag 配置是用 YAML 编写的,YAML 是一种广泛使用的简单标记语言。
  • 依赖解析:读取和写入具有依赖项的工作流。告别“timing”cron 作业以协调多个任务。
  • 多云:跨 Amazon Redshift/S3、Google BigQuery/Cloud Storage 和本地数据库移动和合并数据。
  • 多种语言:对 Python 和 Ruby 的 native支持。
  • 错误处理:Digdag 附带强大的错误处理功能。
  • 模块化的:Digdag 设计为模块化的,因此每个工作流都可以在不同的上下文中重复使用。
  • 可扩展:Digdag 设计为可插拔的,因此您可以破解自己的操作符、控制流等。
  • 管理界面:Digdag 有一个正在开发中的管理 UI。
  • Digdag 提供了一个秘密保险库,以便安全地处理 API 密钥和密码等敏感信息。
  • Docker 支持:Digdag 允许你从 Docker 容器运行任务以支持云原生工作流。
  • 版本控制:Digdag 是工作流即代码。支持 revisions 和 rollbacks。
 相关资料
  • 我正在研究一个需要工作流/流程引擎的解决方案。我的工作流包含一些基于Java的进程(类)和一些Linux Shell脚本。流程不会是静态的,每个流程的执行取决于前一个流程的状态/结果,将有多条路径,路径将由前一个流程的状态确定。 我尝试查看jBPM,但没有找到合适的支持来调用shell脚本。请根据我的要求为我推荐一个合适的替代方案。 非常感谢。

  • 根据本文档,应该可以订阅Spring Integration提供的全局错误通道--“ErrorChannel”。 在我这个非常简单的例子中,它不起作用: 应用:

  • 问题内容: 我想知道您(SO读者)使用Workflow Engines解决的特定问题,以及如果您不自己动手使用的库/框架。我还想知道何时工作流引擎不是最佳选择,以及您是否/如何选择更简单的东西,例如使用状态机的TaskList / WorkList / Task-Management类型应用程序。 问题: 您使用工作流引擎解决了哪些问题? 您使用了哪些库/框架? 什么时候像系统这样简单的状态机/任

  • 我正在评估使用Cadence来执行长时间运行的批量操作。我有以下代码: 这对于数量较少的实体很好,但我很快遇到了以下异常: 看起来我很快就耗尽了线程池,Cadence无法安排新任务。 我通过将的定义更改为: 这基本上是以200个块为单位处理项目,并等待每个块完成,然后再移动到下一个块。我担心这将执行得如何(在重试时,块中的单个错误将停止处理以下块中的所有记录)。我还担心Cadence在发生崩溃时能

  • 当我从Cloud Foundry博客中读到以下内容时,我正试图弄清楚如何使用微CloudFoundry进行开发: “您不需要安装web服务器(Tomcat等)、运行时(Java、Ruby等)和服务(Postgres、MongoDB等),只需下载Micro Cloud Foundry,启动它,然后使用”VMC Push“部署应用程序。” 在开发过程中不断调用“VMC push”对我来说几乎是不可能的