Apache Beam管道能否用于批处理业务流程？
我是apache beam环境中的新手。正在尝试为批处理业务流程安装apache beam管道。
我对批次的定义如下
批次==
作业/子作业之间可能存在依赖关系。
apache波束管道可以用我的自定义批次映射吗？？
共有2个答案
我相信Composer可能更适合您尝试制作的内容。从那里，您可以使用Airflow运算符从您的环境中启动数据流作业（例如，如果您使用Python，您可以使用DataflowCreatePythonJob0014 ator）。
Apache Beam是统一的，用于开发可以在数据流上运行的批处理和流管道。您可以使用数据流创建和部署您的管道。波束管道是可移植的，因此您可以根据您的要求使用任何可用的运行程序。
Cloud Composer可根据您的需求用于批量编排。Cloud Composer基于Apache Airflow构建。Apache Beam和Apache Airflow都可以一起使用，因为Apache Airflow可以用来触发Beam作业。由于您有正在运行的自定义作业，因此可以为批量编排配置梁和气流。
气流旨在执行编排和管道依赖关系管理，而Beam用于构建作为数据处理系统执行的数据管道。
-
我想从Spring批处理管理作业的选项卡上的“Job Names Registered”列表中隐藏一些作业。 我使用的是旧版本“spring-batch-core-2.2.6.release”和“spring-batch-admin-manager-1.3.0.release”，在org/springframework/batch/core/configuration/xml/spring-bat
-
我们目前正在将一个复杂的spring boot batch+admin UI系统迁移到一个spring-cloud-task基础设施中，该基础设施将被管理云数据流。 作为POC的第一阶段，我们必须能够将所有Spring批处理作业打包在同一个部署JAR下，并且能够使用自定义作业参数一个接一个地运行它们，并且支持某种REST API远程执行作业/任务。 我们删除了所有spring-batch管理依赖项
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
我需要使用服务帐户执行数据流作业，下面是同一平台中提供的一个非常简单和基本的wordcount示例。 根据这一点，GCP要求服务号具有数据流工作者的权限，以便执行我的作业。即使我已经设置了所需的权限，错误仍然出现时，堰部分会出现： 有人能解释这种奇怪的行为吗？太感谢了
-
是否可以配置Spring批处理管理员来启动主作业和从作业。我们有一个进程作为主节点和3-4个从节点。 Spring batch admin在单独的JVM进程中运行，但所有Spring批处理作业都使用相同的批处理数据库模式。
-
我在批处理作业中使用多线程步骤来处理来自源数据库的记录并写入目标数据库。该步骤基于块，由JdbcpagingItemReader、Processor和JDBCBathItemWriter组成。我明白，如果在步骤处理期间发生任何异常，数据库事务将回滚整个块。我想了解一下Spring batch在内部是如何管理的？由于这是多线程步骤，因此不能保证处理器和写入器在块的同一线程中执行。块可能由不同的线程处