Spark Streaming中处理的批处理与RDD
我在中看到了几个答案（例如这里），因此建议批次中的记录将成为单个RDD。我对此表示怀疑，因为假设batchInterval为1分钟，那么单个RDD将包含最后一分钟的所有数据？
注意：我不是直接将批次与RDD进行比较，而是将Spark内部处理的批次进行比较。
共有1个答案
让我引用Spark流媒体指南
离散流或数据流是Spark Streaming提供的基本抽象。它表示一个连续的数据流，要么是从源接收的输入数据流，要么是通过转换输入流生成的已处理数据流。在内部，数据流由一系列连续的RDD表示，RDD是Spark对不可变分布式数据集的抽象（有关更多详细信息，请参阅Spark编程指南）。数据流中的每个RDD包含来自特定间隔的数据，如下图所示。
如您所见-单批次=单RDD。这就是为什么根据数据流调整批处理间隔对于应用程序的稳定性至关重要的原因。
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
我是Spring批处理的新手，我只想问如何从多行结果集中检索数据。我有以下场景： > 有两个不同的表说员工 使用时，我只能创建一个工资单子级，但该表可能有多个子级。请帮助...
-
批处理 本书展示的几个例子中，ElasticSearch提供了高效的批量索引数据的功能，用户只需按批量索引的格式组织数据即可。同时，ElasticSearch也为获取数据和搜索数据提供了批处理功能。值得一提的是，该功能使用方式与批量索引类似，只需把多个请求组合到一起，每个请求可以独立指定索引及索引类型。接下来了解这些功能。 MultiGetMultiGet操作允许用户通过_mget端点在单个请求命
-
我在表中总共有8条记录，其中6条在spring批处理调用read时可以使用jpareader。现在我将页面大小和块大小设置为1以进行测试。期望作业运行时，它应该进行6次读取调用，然后它应该逐个处理，逐个写入。但实际上发生的是，它只是调用read 4次（从日志中我可以看到这样读取页面0...1）并处理4个，其中一个由于不匹配写入标准而被过滤掉，然后它只是更新了3个记录，作业标记为成功完成。
-
当我使用Spring批处理管理运行长时间运行的批处理作业的多个实例时，它会在达到jobLauncher线程池任务执行程序池大小后阻止其他作业运行。但是从cron中提取多个工作似乎效果不错。下面是作业启动器配置。 Spring批处理管理员Restful API是否使用不同于xml配置中指定的作业启动器？
-
我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。