Spring JPA-Hibernate：批量插入执行太多选择下一个（“序列”）

Question

现在我正在尝试提高我的Web应用程序的性能，我使用Spring JPA 2.3.0-Hibernate 5.4.15。最终，Postgres 12并通过@Transaction管理事务。Web应用程序部署在aws beanstek上，同时运行多个实例，但数据库实例不可扩展。我使用bigSerial类型作为表的ID。

例如，我有一个学生表，ID是bigSerial和其他一些列。我在使用时遇到了一些问题

@GeneratedValue（策略=GenerationType. IDENTITY）

，Hibernate在保存实体列表时无法批量插入。我尝试使用

@GeneratedValue(strategy = GenerationType.AUTO, generator = "students_id_seq") 
@SequenceGenerator(name = "students_id_seq", sequenceName = "students_id_seq")

hibernate.id.new_generator_mappings=false
hibernate.jdbc.batch_size=10 
hibernate.order_inserts=true 
hibernate.order_updates=true
hibernate.batch_versioned_data=true

Hibernate似乎可以批量插入，但问题是Hibernate执行select nextval（'students_id_seq'）多次。如果一个实体列表有30个项目，Hibernate executeselect nextval30次，batch insert query 3次。

一些统计数据：

>

• 保存（实体）：
  • 插入到...：执行一次
  • 插入到...：执行n次

  如果使用GenerationType. SEQUENCE/GenerationType. AUTO

  • 保存（实体）：
  • 选择nextval（'students_id_seq'）：执行n次
  • 插入到 ：执行n次/批大小

  总之，如果使用GenerationType。自动或生成类型。序列带有allocationSize=1：

  • 当插入一个实体时，应用程序执行查询的次数增加了100%（从一个插入查询只增加到2个查询：选择nextval，并插入查询）
  • 批量插入时，如果batch_size=10，应用程序增加10%以上

  我的问题是，是否无论如何都要批量插入但不执行许多select nextval查询？类似GenerationType。IDENTITY，不执行select nextval，只是批量插入，ID将在数据库中按顺序处理。

  当我使用GenerationType进行测试时。SEQUENCE和allocationSize=1（GenerationType.AUTO），应用程序执行了太多的select nextval查询，我认为这比身份策略更糟糕。由于某些原因，我不想使用allocationSize，在运行insert query manual或迁移数据或其他情况下，可能会导致重复的主键错误。

  经过一些研究，我找到了一种获取序列值列表的方法：

  从generate_series（1,10）中选择nextval（'students_id_seq'）

  我们可以用entityList代替10。批量插入时，大小（）或实体数在entityList中没有ID，只需获得足够的使用量，不要在ID之间创建太多间隙，但我不确定是否支持Hibernate，如果支持，请与我共享文档以供参考。

  谢谢你

  https://discourse.hibernate.org/t/batch-insert-execute-too-much-select-nextval-sequence/4232




Answer 1

您正在寻找的是用于id生成的HiLo算法。

对于从一个序列生成的每个id，它会在客户端上生成多个id，而无需访问数据库。

您可以在实体上对其进行如下配置：

    @GeneratedValue(strategy = GenerationType.SEQUENCE, generator = "hilo_sequence_generator")
    @GenericGenerator(
            name = "hilo_sequence_generator",
            strategy = "org.hibernate.id.enhanced.SequenceStyleGenerator",
            parameters = {
                    @Parameter(name = "sequence_name", value = "hilo_seqeunce"),
                    @Parameter(name = "initial_value", value = "1"),
                    @Parameter(name = "increment_size", value = "3"),
                    @Parameter(name = "optimizer", value = "hilo")
            })
    @Id
    private Long id;