处理海量数据的Spring批处理
我的数据库中有大约1000万个blob格式的文件，我需要转换并以pdf格式保存它们。每个文件大小约为0.5-10mb，组合文件大小约为20 TB。我正在尝试使用spring批处理实现该功能。然而，我的问题是，当我运行批处理时，服务器内存是否可以容纳那么多的数据？我正在尝试使用基于块的处理和线程池任务执行器。请建议运行作业的最佳方法是否可以在更短的时间内处理如此多的数据
共有1个答案
每个文件大小为0.5到10 MB，您提到的方法非常适合使用块。您可以通过以下操作获得更多控制并监视处理。
- 根据文件表中的线程池计数（基于系统资源）创建分区
- 读卡器的每个分区步骤一次只选择一个文件
- 您可以根据并行步骤的数量计算内存，并将其作为VM参数提供
- 根据并行步骤总数的内存计算配置提交区块
请参考下面的示例代码。
Spring批式多工序重载，每道工序下多线程
-
我正在实现spring批处理作业，用于使用分区方法处理一个DB表中的数百万条记录，如下所示- > 从分区器中的表中提取唯一的分区代码，并在执行上下文中设置相同的代码。 创建一个包含读取器、处理器和写入器的块步骤，以基于特定分区代码处理记录。 是否可以创建分区/线程来处理像thread1进程1-1000，thread2进程1001-2000等？ 如何控制创建的线程数，因为分区代码可以是100个左右，
-
备忘 1 GB: 十亿个字节（Byte） 1(B) * 10*10^8 / 1024 / 1024 ≈ 953.67(MB) ≈ 1000(MB) ≈ 1(GB) 400 MB: 一亿个 4 字节（Byte） int 整型占用的内存 4(B) * 10^8 / 1024 / 1024 ≈ 381.57(MB) ≈ 382(MB) ≈ 400(MB) 10 亿个整型 -> 400(MB) * 10
-
所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导致无法一次性装入内存。 那解决办法呢? 针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit-map/堆/trie树。 针对空间，无非就一个办法：大而化小，分而治之（hash映射）。 二、算法/数据结构基础 1.
-
我需要访问两个数据源： Spring批处理存储库：在内存H2中 我的步骤需要访问。 我在那里看到了几个关于如何创建自定义
-
我有以下工作要处理在一定的时间间隔或特别的基础上。 作业中的步骤如下： 我也想要用户界面，在那里我可以触发一个特别的基础上的工作，而且我应该能够提供参数从用户界面。 我想用Spring batch来完成这个任务，但它更多的是用于读->处理->写之类的工作。这里，在第一步中，我正在生成由第二步读取的数据。我不确定我是否还可以使用Spring batch来实现这个，或者有更好的方法来实现这个。
-
我使用Spring批处理从Oracle数据库读取数据并将结果写入CSV文件。 我还需要将spring批处理元数据表与oracle数据库分开，为此，我在批处理配置中配置了两个不同的数据源（spring批处理元数据的内存数据库）。 这是我的代码： 批处理配置。JAVA 然后我的itemReader bean看起来像： 当我运行批处理时，一切正常。 但是当我尝试在我的BatchApplication中添