通过数据库中的唯一约束进行重复检查不工作

Question

我有一个Spring Boot服务，它应该将事务中两种类型的多个实体持久化到Oracle DB。第一种实体类型的表是巨大的（每天300万个条目，分区…），我有一个问题，我需要对重复项做出反应。我使用一些字段来创建哈希，并且在数据库中对该字段有一个唯一的约束。我认为一个聪明的想法是一个实体一个实体地保存和刷新，并对ConstraintViolationException做出反应。根据保存第一个实体列表的结果，我需要创建第二个实体并保存它，但它会回滚所有内容。我现在的问题是，如果这种方法通常是错误的，或者可以，并且存在一些小问题？如果这通常是错误的，那么我应该如何进行重复检查（预先选择不是选项）？

下面是一些伪代码，可以让你有更好的想法

@Entity
public class Foo{

    public String uniqueHash;
    
    // couple of other properties that will be used to calculate the hash
}

@Entity
public class Bar{

    private List goodIds;
    private List badIds;
    
    public Bar(List goodIds, List badIds){
        this.goodIds = goodIds;
        this.badIds = badIds;
    }
}

@Repository
@Transactional(noRollbackFor = PersistenceException.class)
public interface FooRepository extends JpaRepository<Foo, String> {
  Foo saveAndFlush(Foo f) throws PersistenceException;
}

@Repository
@Transactional(noRollbackFor = PersistenceException.class)
public interface BarRepository extends JpaRepository<Bar, String> {
  Bar saveAndFlush(Bar b) throws PersistenceException;
}

SomeService

@Transactional(noRollbackFor = PersistenceException.class)
public void doSomething(List<Foo> foos){

    List<String> goodIds = new ArrayList();
    List<String> badIds = new ArrayList();
        
    for (Foo foo : foos) {
      try {     
        fooRepository.saveAndFlush(foo);
        goodIds.add(foo.getId());
      } catch (PersistenceException e) {
        if (e.getCause() instanceof ConstraintViolationException) {
          badIds.add(foo.getId);
        } else {
          throw e;
        }
      }
    }
    barRepository.saveAndFlush(new Bar(goodIds, badIds));
}

Answer 1

为此，您可以使用自定义的< code>@SQLInsert来利用Oracles MERGE语句。另请参见https://stackoverflow.com/a/64764412/412446

Answer 2

最后，我找到了一种方法来实现预期的行为，甚至更好的是，我能够摆脱这些“noRollBackFor”属性。我只是重组了流程，并尝试保存事务中的所有内容，如果失败，Exception被捕获在调用方法上，输入被“清理”，事务方法被再次调用（递归）。这些重复是罕见的情况（每10kFoo实例都会发生），所以从性能的角度来看，有这些后续事务是可以的。这里又是更改后的伪代码

@Entity
public class Foo{

    public String uniqueHash;
    
    // couple of other properties that will be used to calculate the hash
}

@Entity
public class Bar{

    private List goodIds;
    private List badIds;
    
    public Bar(List goodIds, List badIds){
        this.goodIds = goodIds;
        this.badIds = badIds;
    }
    
    public List getGoodIds(){
      return goodIds;
    }
    
    public List getBadIds(){
      return badIds;
    }
}

@Repository
public interface FooRepository extends JpaRepository<Foo, String> {
}

@Repository
public interface BarRepository extends JpaRepository<Bar, String> {
}

public class FooException extends RuntimeException {

  private final Foo foo;

  public FooException(String message, Foo foo) {
    super(message);
    this.foo = foo;
  }
  
  public getFoo(){
  return foo;
  }
}

SomeService

public void doSomething(List<Foo> foos, Bar bar){
        try{
        doSomethingTransactional(foos,bar);
        }
        catch (FooException e) {           
          bar.getBadIds().add(e.getFoo().getId());
          foos.remove(foo);
          doSomething(foos, bar);
        }
}


@Transactional
public void doSomethingTransactional(List<Foo> foos, Bar bar){
        
    for (Foo foo : foos) {
      try {     
        fooRepository.saveAndFlush(foo);
        bar.getGoodIds.add(foo.getId());
      } catch(DataAccessException e) {
        if (e.getCause() instanceof ConstraintViolationException 
        && ((ConstraintViolationException) e.getCause()).getConstraintName().contains("Some DB Message")) {
          throw new FooException("Foo already exists", foo);
        } else {
          throw e;
        }
      }
    }
    barRepository.saveAndFlush(bar);
}