Spring数据JPA HIbernate批量插入较慢

Question

我使用Spring Data、Spring Boot和Hibernate作为JPA提供程序，我想提高批量插入的性能。

我引用这个链接来使用批处理:

http://docs.jboss.org/hibernate/orm/4.1/manual/en-US/html/ch15.html

这是我的代码和应用程序。插入分批实验的属性。

我的服务：

    @Value("${spring.jpa.properties.hibernate.jdbc.batch_size}")
    private int batchSize;

    @PersistenceContext
    private EntityManager em;

    @Override
    @Transactional(propagation = Propagation.REQUIRED)
    public SampleInfoJson getSampleInfoByCode(String code) {
//        SampleInfo newSampleInfo = new SampleInfo();
//        newSampleInfo.setId(5L);
//        newSampleInfo.setCode("SMP-5");
//        newSampleInfo.setSerialNumber(10L);
//        sampleInfoDao.save(newSampleInfo);
        log.info("starting... inserting...");
        for (int i = 1; i <= 5000; i++) {
            SampleInfo newSampleInfo = new SampleInfo();
//            Long id = (long)i + 4;
//            newSampleInfo.setId(id);
            newSampleInfo.setCode("SMPN-" + i);
            newSampleInfo.setSerialNumber(10L + i);
//            sampleInfoDao.save(newSampleInfo);
            em.persist(newSampleInfo);
            if(i%batchSize == 0){
                log.info("flushing...");
                em.flush();
                em.clear();
            }
        }

与批处理相关的部分application.properties：

spring.jpa.properties.hibernate.jdbc.batch_size=100
spring.jpa.properties.hibernate.cache.use_second_level_cache=false
spring.jpa.properties.hibernate.order_inserts=true
spring.jpa.properties.hibernate.order_updates=true

实体类:

@Entity
@Table(name = "sample_info")
public class SampleInfo implements Serializable{

    private Long id;
    private String code;
    private Long serialNumber;

    @Id
    @GeneratedValue(
            strategy = GenerationType.SEQUENCE,
            generator = "sample_info_seq_gen"
    )
    @SequenceGenerator(
            name = "sample_info_seq_gen",
            sequenceName = "sample_info_seq",
            allocationSize = 1
    )
    @Column(name = "id")
    public Long getId() {
        return id;
    }

    public void setId(Long id) {
        this.id = id;
    }

    @Column(name = "code", nullable = false)
    public String getCode() {
        return code;
    }

    public void setCode(String code) {
        this.code = code;
    }

    @Column(name = "serial_number")
    public Long getSerialNumber() {
        return serialNumber;
    }

    public void setSerialNumber(Long serialNumber) {
        this.serialNumber = serialNumber;
    }
}

运行上面的服务批量插入 5000 行需要 30 到 35 秒才能完成，但如果注释以下行：

if(i%batchSize == 0){
    log.info("flushing...");
    em.flush();
    em.clear();
}

插入 5000 行仅需 5 到 7 秒，比批处理模式更快。

为什么在使用批处理模式的时候会比较慢？

Answer 1

这是因为EntityManager不会立即将数据保存在数据库中。当您调用< code>flush()时，数据将被持久化。当您注释这些行时，EntityManager会根据flush-mode参数刷新数据，直接调用flush会告诉EntityManager在数据库中执行查询。