Spring Boot JPARepository存储性能（）

Question

我的spring boot应用程序在插入数据时性能非常慢。

我正在从一个数据库中提取大量数据，并将数据插入另一个数据库。

以下是我的实体。

@Entity
@Table(name = "element")
public class VXMLElementHistorical {

@Id
@Column(name = "elementid")   
private long elementid;

@Column(name = "elementname")
private String elementname; 

Getter/Setter methods...    

我已经配置了一个JPA存储库

public interface ElementRepository extends JpaRepository<Element, Long> {

}

并使用我的对象调用Save（）方法

@Transactional 
public void processData(List<sElement> hostElements) 
throws DataAccessException { 

List<Element> elements = new ArrayList<Element>();    

for (int i = 0; i < hostElements.size(); i++) {
        Element element = new Element();
        element.setElementid(hostElements.get(i).getElementid());
        element.setElementname(hostElements.get(i).getElementname());
        elements.add(element);
    }

   try{
   elementRepository.save(elements);{
   //catch etc...

}

目前的情况是，对于每个项目，执行插入操作需要6到12秒的时间。我打开了hibernate跟踪日志记录和统计功能，当我调用save函数时，hibernate执行两个查询，一个选择和一个插入。select查询占用了99%的总时间。

我直接在数据库上运行了select查询，结果以纳秒为单位返回。这让我相信这不是索引问题，但我不是DBA。

我已经在我的开发环境中创建了一个负载测试，在负载大小相似的情况下，整个过程的时间没有prod环境中的时间长。

有什么建议吗？

Answer 1

由于加载实体似乎是一个瓶颈，而且您真的只想进行插入，即您知道数据库中不存在实体，因此您可能不应该使用Spring Data JPA的标准save方法。

原因是它执行合并，触发Hibernate加载数据库中可能已经存在的实体。

相反，向存储库中添加一个自html" target="_blank">定义方法，该方法在实体管理器上执行持久化。由于要预先设置Id，请确保您有一个version属性，以便Hibernate可以确定这确实是一个新实体。

这将使选择消失。

其他答案中给出的其他建议值得作为第二步考虑：

• 启用批处理。
• 试验中间冲洗和清除会话。
• 一次保存一个实例而不将它们收集到集合中，因为调用合并或持久化实际上不会触发对数据库的写入，而只有刷新会（这是一个简化，但它应该适用于此上下文）

Answer 2

正如@M. Deina在评论中所说，您可以通过在如下所示的一定数量的插入后调用flush（）和clear（）来改进。

int i = 0;
for(Element element: elements) {
    dao.save(element);
    if(++i % 20 == 0) {
        dao.flushAndClear();
    }

}

Answer 3

保存单个元素，而不是创建元素列表并保存这些元素。每隔一段时间，然后进行刷新和清除，以防止脏检查成为瓶颈。

@PersistenceContext
private EntityManager entityManager;

@Transactional 
public void processData(List<sElement> hostElements) 
throws DataAccessException {     

for (int i = 0; i < hostElements.size(); i++) {
        Element element = new Element();
        element.setElementid(hostElements.get(i).getElementid());
        element.setElementname(hostElements.get(i).getElementname());
        elementRepository.save(element)
        if ( (i % 50) == 0) {
            entityManager.flush();
            entityManager.clear();
        }
}
entityManager.flush(); // flush the last records.

你想清除每个x元素（这里是50，但你可能想找到自己的最佳数字。

现在，当您使用Spring Boot时，您可能还想添加一些附加属性。比如配置批处理大小。

spring.jpa.properties.hibernate.jdbc.batch_size=50 

如果您的JDBC驱动程序支持，这将把50条单insert语句转换成1条大批量insert语句。即50个插页到1个插页。

另见https://vladmihalcea.com/how-to-batch-insert-and-update-statements-with-hibernate/