Spring数据批量保存所有处理异常
我有一个Spring Boot应用程序，通过从kafka收集数据，我正在做很多插入。我希望使用 saveAll 批处理插入来提高性能。但是很少有数据会被认为是重复的，每当在我的代码中捕获DataIntegrityViolationException时，我都会更新它们。使用批处理插入，有没有办法为每个重复的数据捕获此异常，并使用 do 更新代码进行处理？
共有1个答案
您可以使用Hibernate的@SQLInsert注释来更改插入的完成方式。有关详细信息，请参阅Hibernate事务和使用 attachDirty 的并发性（saveOrUpdate）。
-
我的数据库中有大约1000万个blob格式的文件，我需要转换并以pdf格式保存它们。每个文件大小约为0.5-10mb，组合文件大小约为20 TB。我正在尝试使用spring批处理实现该功能。然而，我的问题是，当我运行批处理时，服务器内存是否可以容纳那么多的数据？我正在尝试使用基于块的处理和线程池任务执行器。请建议运行作业的最佳方法是否可以在更短的时间内处理如此多的数据
-
我正在使用Spring Batch和JPA处理一个批处理作业并执行更新。我正在使用默认的存储库实现。 并且我正在使用一个repository.save将修改后的对象保存在处理器中。而且，我没有在处理器或编写器中指定任何@Transactional注释。 下面是我的步骤，读取器和写入器配置：另外，我的config类是用EnableBatchProcessing注释的 在writer中，这就是我使用的
-
我有一个使用JPA的Spring Boot应用程序，它有一个PostgreSQL数据库。我使用的是Spring Batch。场景是我正在读取一个文件并将数据写入PostgreSQL数据库。当程序在数据库中创建Spring Batch使用的元数据表时，它与PostgreSQL一起工作。但我需要的是Spring Boot不要创建元数据表，并通过Spring Batch使用内存中基于映射的作业存储库。我
-
我使用Spring批处理从Oracle数据库读取数据并将结果写入CSV文件。 我还需要将spring批处理元数据表与oracle数据库分开，为此，我在批处理配置中配置了两个不同的数据源（spring批处理元数据的内存数据库）。 这是我的代码： 批处理配置。JAVA 然后我的itemReader bean看起来像： 当我运行批处理时，一切正常。 但是当我尝试在我的BatchApplication中添
-
我对Spring批处理跳过逻辑有一些问题。我已经配置了一个作业的步骤来跳过两个异常（SQLIntegrityConstraintViolation异常和乐观锁定失败异常）： 但当作业运行时，由于我将其配置为跳过的异常，作业以未知状态完成： 我做错什么了吗？我希望这一步跳过负责抛出其中一个异常的项，并继续处理，以便以完成状态结束。
-
我正在使用spring批处理使用RepositoryItemReader从postgresql DB读取记录，然后将其写入主题。我看到大约有100万条记录需要处理，但它并没有处理所有的记录。我已经将reader的pageSize设置为10,000并且与提交间隔（块大小）相同