Spring Boot JPA saveAll（）插入数据库非常慢

Question

我将Spring Boot与Hibernate结合使用，为一个简单的html" target="_blank">web应用程序创建RESTful API，在该应用程序中，我读取一个。csv文件，并将每一行插入到mysql数据库表中。我能够成功地做到这一点，但它需要很长的时间为任何大的csv文件。我明白最好对insert语句进行批处理，以减少事务的数量，但我不认为我用当前的代码实现了这一点。这是我目前正在做的（工作，但非常缓慢）：

csvuploadercontroller.java

public class CsvUploaderController {

    // CsvUploader Repository definition:
    // @Repository
    // public interface CsvUploaderRepository extends JpaRepository<CityObj, Integer>
    @Autowired
    CsvUploaderRepository csvUploaderRepository;

    // gets called by front end with the .csv file data
    @PutMapping("/upload_csv")
    public List<CityObj> uploadCsv(@RequestBody Object data) {
        // unpackCSV converts an arrayList of Objects to a List of CityObj
        List<CityObj> unpackedCSV = unpackCSV((ArrayList<Object>) data);
        csvUploaderRepository.deleteAll(); // delete all rows in table currently. Not sure if this is relevent to issue

        // save all items as rows in my database
        return csvUploaderRepository.saveAll(unpackedCSV); // this is where it takes forever to complete
    }
    ...
}

Application.Properties：

spring.datasource.url=jdbc:mysql://url.to.my.database
spring.datasource.username=myusername
spring.datasource.password=weirdpassword
spring.datasource.hikari.maximumPoolSize = 5

spring.jpa.properties.hibernate.generate_statistics=true 
spring.jpa.properties.hibernate.jdbc.batch_size=20 // I've tried playing around with different values. Hasnt helped
#spring.jpa.properties.hibernate.order_inserts=true // I've also tried using this but not sure what it does and didnt help

我做错了什么？如何提高插入的性能？我是否错误地理解了saveAll（）？我的问题与这里描述的非常相似：Spring boot 2升级-Spring boot data jpa saveAll（）非常慢

Answer 1

您可以通过调整MySQL的HikariCP配置来获得一些性能：https://github.com/brettwooldridge/HikariCP/wiki/mysql-configuration

由于saveAll()在内部只在列表上循环，因此可以手动执行循环，并每20个实体刷新一次，以减少持久化上下文的压力。

正确的批处理当然会有所帮助。

INSERT INTO tbl_name (a,b,c) VALUES(1,2,3),(4,5,6),(7,8,9);