Spring数据 jpa 继续批量插入 异常

Question

在我的spring boot应用程序中，我试图进行批插入以提高写入性能。问题是，我定期获得重复数据，对于这些数据，我的表上有一些唯一的约束。在进行串行插入时，我只捕获DataIntegrityException并忽略它们。但在执行批插入时，即使一次插入失败，也不会保存整个批。我希望hibernate仍然保存不会抛出错误的记录。我正在使用存储库。saveAll（）用于插入，我的数据库是Mysql

Answer 1

那是不可能的。异常发生后，Hibernate的内部结构不再工作。您必须捕获异常，并在新的事务/实体管理器中重试您的操作。

Answer 2

在批处理过程中，您需要添加

 .faultTolerant()
 .skipPolicy(new AlwaysSkipItemSkipPolicy())

在编写器之后执行的步骤中。例如，在我的步骤中，我这样配置了它

@Bean
 public Step step1(){
      return steps.get("step1")
              .<Product,Product>chunk(3)
              .reader(reader(null))
              .processor(new ProductProcessor())
              .writer(flatFileItemWriter(null))
             //  .writer(xmlWriter(null))
             // .writer(dbWriter())
             //   .writer(dbWriter2())
              .faultTolerant()
              .skipPolicy(new AlwaysSkipItemSkipPolicy())
              .listener(new ProductSkipListener())
              .build();
 }

这只能完成一半的工作，因为您还希望在最后看到无法添加的记录。为此，您需要添加侦听器，它基本上实现了如何处理对象尚未写入数据库的情况的逻辑。