Spring Cloud Data Flow 是基于原生云对 Spring XD 的重新设计，该项目目标是简化大数据应用的开发。
Spring Cloud Data Flow 简化了专注于数据流处理的应用程序的开发和部署。它的体系结构包含的主要概念有：应用程序、Data Flow Server 和运行时环境。
Spring Cloud Data Flow 为基于微服务的分布式流处理和批处理数据通道提供了一系列模型和最佳实践。
特点
1.使用 DSL，REST-APIs，Dashboard 和 drag-and-drop gui 开发 2.独立的创建，单元测试，故障排除，和管理微服务程序 3.使用开箱即用的 stream 和 task/batch 应用迅速的构建数据通道 4.把微服务作为 maven 或者 Docker 的构件 5.在不中断数据流的情况下扩展数据通道 6.在现代运行环境平台上编配以数据为中心的应用程序 7.利用度量，健康检查远程管理每一个微服务程序
架构
Spring Cloud Data Flow 简化了应用程序的开发和部署，将精力集中到数据处理的用例上
主要的架构概念在应用程序、data flow 服务器和目标运行环境上
应用程序有两个特点：
1.周期长的流处理，程序通过消息中间件消费和产生连续不断的数据 2.短周期的任务处理，程序处理有限的数据集合然后中断
取决于运行环境，应用程序可以有两种打包方式
1.Spring Boot 打成 jar 包可以托管在一个 maven 仓库，文件，http 或者是其他 spring 资源实现 2.Docker
运行环境支持：
- Cloud Foundry - Apache YARN - Kubernetes - Apache Mesos
-
1 Spring Cloud Data Flow 介绍 1.Data flow 是一个用于开发和执行大范围数据处理其模式包括ETL，批量运算和持续运算的统一编程模型和托管服务。 2.对于在现代运行环境中可组合的微服务程序来说，spring cloud data flow是一个原生云可编配的服务。 使用spring cloud data flow，开发者可以为像数据抽取，实时分析，和数据导入/导出这
-
整理之前的笔记，发现有一些内容没有发出来，陆续发出来。。。 Partitioner StepExecutionSplitter PartitionHandler Configuration JobFactory：创建Job对象，可以进一步获取Job的名称 JobLocator：根据任务名称获取任务详情，ListableJobLocator，JobRegistry StepRegistry：分步注册
-
我想分散加工大批量。这个想法是使用Spring Batch在云中激发一堆AMQP消费者，然后加载廉价的任务（如项目ID）并将它们提交给AMQP交换。结果的书写将由消费者自己完成。 null
-
我在spark streaming应用程序中看到一些失败的批处理，原因是与内存相关的问题，如 无法计算拆分，找不到块输入-0-1464774108087
-
在Anylogic模型中，我的源块根据定义代理必须到达哪个节点的数据库值在不同节点上生成代理。 相同位置的订单同时到达（例如，7:30，3个代理订单到达node1，4个代理订单到达node2）。 现在我想做的是，节点1上的订单生成一批1x2和1x1，而节点2上的订单生成一批2。这些代理将扣押将这些批次运输到同一位置的运输公司，然后解除批次。 因此，我的问题是如何基于从数据库加载的Arrivaloc
-
11.4 基于ItemReaders的driving query 在readers 和writers章节中对数据库分页进行了讨论,很多数据库厂商,比如DB2,如果读表也需要使用的在线应用程序的其他部分,悲观锁策略,可能会导致问题.此外,打开游标在超大数据集可能导致某些供应商的问题.因此,许多项目更喜欢使用一个’Driving Query’的方式读入数据.这种方法是通过遍历keys,而不是整个对象,
-
我需要使用服务帐户执行数据流作业，下面是同一平台中提供的一个非常简单和基本的wordcount示例。 根据这一点，GCP要求服务号具有数据流工作者的权限，以便执行我的作业。即使我已经设置了所需的权限，错误仍然出现时，堰部分会出现： 有人能解释这种奇怪的行为吗？太感谢了
-
我需要访问两个数据源： Spring批处理存储库：在内存H2中 我的步骤需要访问。 我在那里看到了几个关于如何创建自定义
-
我在GCP数据流/Apache Beam中有一个PCollection。我需要将“按N”组合起来，而不是逐个处理它。类似于分组（N）。因此，在有界处理的情况下，它将按10个项目进行分组，最后一批是剩下的任何项目。这在Apache Beam中可能吗？
-
我的数据库中有大约1000万个blob格式的文件，我需要转换并以pdf格式保存它们。每个文件大小约为0.5-10mb，组合文件大小约为20 TB。我正在尝试使用spring批处理实现该功能。然而，我的问题是，当我运行批处理时，服务器内存是否可以容纳那么多的数据？我正在尝试使用基于块的处理和线程池任务执行器。请建议运行作业的最佳方法是否可以在更短的时间内处理如此多的数据