有人有类似问题的经验吗?在我看来,这应该是很常见的,如果我必须完全自己实现它,那就奇怪了。我在这里发现了一些关于编排和编排系统理论的问题(比如这个和这个),但没有发现实现它的工具的真实示例。此外,我认为我们并不完全是在谈论微服务--任务不是延长和繁重的,它们只是很多,在后台运行,执行许多类型的短任务。我不会为每种工作类型创建服务。
我现在也不是在寻找云和容器服务--据我所知,部署是一个不同的问题。
我得到的最接近的是Netflix Conductor engine,它通过运行管理servlet(或任何语言的任何web服务)中实现的任务的编排服务器来满足大多数需求。然而,它似乎主要是为在工作流中安排繁重的任务而构建的,而不是运行大量的小任务,这让我想知道例如在servlet中调用许多小任务的开销是多少。
也许您正在寻找类似气流https://Airflow.apache.org/?
在Java中封装和执行一般任务,如果依赖于语言
https://github.com/apache/cubator-airflow/tree/master/airflow/hooks https://github.com/apache/cubator-airflow/tree/master/airflow/contrib/操作员
日程安排也不错
想想cron on Steroids-https://airflow.apache.org/scheduler.html
对分布式体系结构的支持&可伸缩性(主要用于大量小任务)
刻度与戴盘或芹菜节点-气流+芹菜或戴盘。为了什么,什么时候?
毅力和韧性
使用postgres db和RabbitMQ-如果您的部署arch是无状态的(例如,使用docker的可重复容器和卷),您应该能够很好地使用WAL复制,如果您使用Kubernetes或咨询,还有其他方法可以在其他组件上实现更大的弹性
监视和管理UI(或至少API)
有一个,显示任务和计划,并有一个甘特视图。还可以轻松地查看日志和运行详细信息&还可以直接从UI手动调度任务
也看看oozie和azkaban
这是一个双重问题。 和之间有什么区别 SpringBoot starter项目排除了junit vintage engine。是为了强制使用junit jupiter引擎吗 下面是从Spring Initializer生成的SpringBoot项目的依赖项:
引擎配置 支持的数据库 数据库URL 《PostgreSQL》 MySQL 甲骨文公司 Microsoft SQL服务器 SQLite 其他 引擎创建API 池化 自定义DBAPI connect()参数/on connect例程 传递给的特殊关键字参数数据库接口() 控制如何将参数传递给DBAPI connect()函数 在连接后修改DBAPI连接,或在连接后运行命令 完全替换DBAPI con
本节详细介绍了 Engine , Connection 以及相关对象。重要的是要注意,当使用sqlAlchemy ORM时,通常不会访问这些对象;相反,这些对象 Session 对象用作数据库的接口。但是,对于围绕直接使用文本SQL语句和/或SQL表达式构造而构建的应用程序,而不需要ORM的更高级别管理服务的参与,则 Engine 和 Connection 是国王(还是王后?)-继续阅读。 基本用
一个简单的问题:我看到chronicle Map3x正在将一些功能转移到引擎产品中。然而,引擎本身依赖于MAP2X。我有点困惑,我怎么能把它们一起用呢?我想我错过了什么,但不确定到底是什么。
我能用Eval让它工作...但我们都知道eval是邪恶的。 有人能给我指点一下这方面的教程吗?除了简单的代币替换之外,我似乎找不到任何东西。
下述存储引擎支持事务: ·InnoDB:通过MVCC支持事务,允许COMMIT、ROLLBACK和保存点。 ·NDB:通过MVCC支持事务,允许COMMIT和ROLLBACK。 ·BDB:支持事务,允许COMMIT和ROLLBACK。