处理超过100k条数据记录
我正在开发spring-mvc应用程序。
我需要处理超过10万条数据记录。我不能让它依赖于数据库，所以我必须用java实现所有逻辑。
目前，我正在创建多个线程，并将1000条记录分配给每个要处理的线程。
我正在使用org。springframework。行程安排。同时发生的ThreadPoolTaskExecutor（线程池任务执行器）。
列表项
问题：
- 建议使用的线程数
-
- 我应该在线程之间平均分配记录数还是
- 我应该为每个线程提供预定义的记录数并增加线程数吗
有谁能给我推荐一下这种情况下的最佳实践吗。
任何建议都会很好。
注意：执行时间是主要关注点。
更新：
处理包括数据库调用的数量。意味着您可以将其视为在java中完成的搜索。获取一条记录，然后（在java中）将该记录与db中的其他记录进行比较。然后再次获取另一条记录并做同样的事情。
共有2个答案
ExecutorService应该适合您，无需使用spring。但是线程数将是一个技巧。我只能说，这要看情况而定，为什么不试着找出优化的数字呢？
为了处理大量数据，可以使用Spring批处理框架
检查此文档
Wiki页面。
-
我有一个场景，我需要为1000多条记录更新日期字段。 我使用的是本机查询，但出现了错误ora-01795列表中表达式的最大数目是1000。 经过检查，我找到了一些解决方案，比如打破这个答案中提到的in条款。 但我正在寻找这个解决方案，不是一个非常干净的解决方案。 在Spring中，我还可以使用其他更干净的方法吗？请建议。 我当前的查询如下： 我传入列表的ID是从第三方API收集的。
-
我使用的是spring批处理，和通常使用的一样，我有读取器、处理器和写入器。 我有两个问题 1>Reader查询所有200条记录（表中记录总大小为200，我给出了pageSize=200)，因此它得到所有200条记录，在处理器中，我们需要所有这些记录的列表，因为我们必须将每个记录与其他199条记录进行比较，以便将它们分组在不同的层中。因此我在想，如果我们能在处理步骤中得到那个列表，我就可以操纵它们
-
用户勾选某一个分类，一次性查询该分类里的所有商品信息，并创建价格任务。 业务员在价格操作的时候，对刚才创建的所有商品信息进行价格操作，根据基准价做涨幅，每个商品都有不同的基准价，现在的问题就是数据量太大，如果一次性操作一万条商品数据，还要根据基准价做涨幅，有什么好的方法？前端如果展示的话，每条商品的涨幅后价格都要显示，请问该怎么操作比较好，后端这边应该怎么进行处理大批量的数据？
-
给致命的内存分配错误查询读取超过20000记录从数据库，而且它需要太多的时间来加载 因此，请帮助我们出口20000多张唱片。
-
我有一个单节点，多（3）代理Zookeeper/Kafka设置。我使用的是Kafka0.10 Java客户端。 我写了以下simple remote（在不同于Kafka的服务器上）Producer（在代码中，我用MYIP替换了我的公共IP地址）： 这3个代理的服务器属性如下所示（在3个不同的服务器属性文件中，Broker.ID为0、1、2、listeners为plaintext://:9092、p
-
数据处理 可将字段的值进行处理得到最终结果 html标签过滤 内容替换 批量替换 关键词过滤 条件判断 截取字符串 翻译 工具箱 将文本链接标记为图片链接：如果字段的值是完整的url链接（非<img>标签内的链接），可将链接识别为图片 使用函数 调用接口