Spring Data JPA：嵌套实体的批插入

Question

我有一个测试用例，需要将100，000个实体实例持久化到数据库中。我当前使用的代码就是这样做的，但直到将所有数据持久化到数据库中为止，最多需要40秒。数据是从一个大约15 MB大小的JSON文件中读取的。

现在，我已经为另一个项目在自定义存储库中实现了批处理插入方法。但是，在这种情况下，我有很多顶级实体要持久化，只有几个嵌套实体。

在我当前的例子中，我有5个job实体，这些实体包含大约30个jobdetail实体的列表。一个JobDetail包含850到1100个JobEnvelope实体。

这是我的三个问题：

@Entity
public class Job {
  @Id
  @GeneratedValue
  private int jobId;

  @OneToMany(fetch = FetchType.EAGER, cascade = CascadeType.PERSIST, mappedBy = "job")
  @JsonManagedReference
  private Collection<JobDetail> jobDetails;
}

@Entity
public class JobDetail {
  @Id
  @GeneratedValue
  private int jobDetailId;

  @ManyToOne(fetch = FetchType.EAGER, cascade = CascadeType.PERSIST)
  @JoinColumn(name = "jobId")
  @JsonBackReference
  private Job job;

  @OneToMany(fetch = FetchType.EAGER, cascade = CascadeType.PERSIST, mappedBy = "jobDetail")
  @JsonManagedReference
  private List<JobEnvelope> jobEnvelopes;
}

@Entity
public class JobEnvelope {
  @Id
  @GeneratedValue
  private int jobEnvelopeId;

  @ManyToOne(fetch = FetchType.EAGER, cascade = CascadeType.PERSIST)
  @JoinColumn(name = "jobDetailId")
  private JobDetail jobDetail;

  private double weight;
}

Answer 1

确保正确配置Hibernate批处理相关属性：

<property name="hibernate.jdbc.batch_size">100</property>
<property name="hibernate.order_inserts">true</property>
<property name="hibernate.order_updates">true</property>

关键是，如果连续语句操作同一个表，则可以批处理这些语句。如果出现对另一个表执行insert操作的语句，则必须中断前面的批处理构造并在该语句之前执行。通过Hibernate.order_inserts属性，您可以在构造批处理语句之前授予Hibernate权限以重新排序插入(Hibernate.order_updates对update语句具有相同的效果）。

jdbc.batch_size是Hibernate将使用的最大批处理大小。尝试并分析不同的值，选择一个在您的用例中表现出最佳性能的值。

如果您的实体是版本化的（出于乐观锁定的目的），那么为了利用批处理更新（不影响插入），您还必须打开：

<property name="hibernate.jdbc.batch_versioned_data">true</property>

通过该属性，您可以告诉Hibernate，JDBC驱动程序能够在执行批处理更新（执行版本检查所需的）时返回受影响行的正确计数。您必须检查这对于您的数据库/JDBC驱动程序是否正常工作。例如，它在Oracle 11和更早的Oracle版本中不起作用。

您还可能希望在每个批处理之后刷新和清除持久性上下文以释放内存，否则所有托管对象都将保留在持久性上下文中，直到它关闭为止。