提高Spring数据摄取速度

Question

我们有一个物联网应用程序，可以接收Kafka上的数据，并将其保存在rdbms中。我们使用的数据库（MemSql）每秒支持20000多个插入。但我的常规存储库。保存方法我每秒只能实现50次插入。我编写了一个简单的代码，正在高速网络aws ec2实例上进行测试

void saveA(){
    for(int i=0;i<1000;i++){
       A obj = new A();
       aRepository.save(obj);
    }
}

这需要20秒才能完成。我希望达到每秒约1000k的插入。如何提高这种摄取速度？我应该创建一个大小为1000的线程池并从单独的线程调用save吗？在这种情况下，我需要关心像spring.datasource.tomcat这样的属性。最大活动以增加池中的连接数？spring data会自动为每个线程从池中选择一个单独的连接吗？我无法进行批量插入，因为我一次只能从Kafka读取一个数据，还因为可能有一些重复数据需要捕获为DataIntegrityViolationException并更新。

Answer 1

您没有描述您正在保存的对象有多复杂，但是听起来您有相当简单的对象，即每次保存操作的插入比率接近1，并且您似乎也没有进行太多的更新，如果有的话。

如果是这种情况，我建议放弃JPA并直接使用JDBC（使用JdbcTemboard）

原因是 JPA 为使典型的 JPA 流程正常工作做了很多事情：加载实体图，操作它，然后将其刷新回数据库。但是你没有这样做，所以JPA可能没有多大帮助，让你的生活变得艰难，因为你需要调整JPA和JDBC。

首先使用 JdbcTemplate 直接执行插入。

下一步是执行批插入。你可以写，你不能这样做，但我不明白为什么你不能在将行写入数据库之前收集几行。